Предисловие
Я хотел бы поделиться с вами некоторыми из лучших эффектов отображения в продуктах Apple: например, управлением цветом, которое позволяет отображать изображение или видео в правильном цветовом пространстве в соответствии с файлом конфигурации изображения или видео; и локальным HDR, который использует преимущества высокой яркости OLED или miniLED, позволяя изображениям или видео максимально восстанавливать яркость сцены.
Но я не знаю, заметили ли вы проблему: эти две функции, по сути, делают одно и то же — создают контейнер с достаточной яркостью и цветом, передают в него весь контент, а затем преобразуют его в формат данных, принимаемый экраном. Для пикселей экрана принимается только один формат данных, а именно сигнал RGB и текущая яркость. Эта часть выполняется в системе без участия оборудования. Я бы назвал это искусством работы с пикселями.
Но тема, которую мы сегодня обсудим, гораздо проще. Ведь всем известно, что для каждого пикселя в контенте требуется смешать и отобразить на экране несколько пикселей RGB. Это и есть субпиксель или субпиксель экрана.
Как осуществляется управление субпикселями для отображения? В чем разница между OLED и LCD? Что компания Apple накопила в этой области? Тогда я расскажу об этом подробно.
Субпиксельная отрисовка
Позвольте мне сначала немного рассказать о науке. Пиксели OLED не являются RGB 1:1:1. Как и в случае с распространенной ромбовидной компоновкой, количество красных и синих пикселей вдвое меньше. В этом случае, если вы хотите отобразить белую точку, может быть недостаточно подсветить только три RGB-пикселя. Необходимо использовать пиксели с боков, чтобы обеспечить максимально точное воспроизведение цвета и формы. Это алгоритм субпиксельного рендеринга.
Если всё сделано качественно, вы не почувствуете присущий OLED-дисплеям недостаток — отсутствие красных и синих пикселей. Если же качество низкое, изображение будет размытым или нечётким, недостаточно чётким. Поэтому эта функция относится к тем, чем лучше она выполнена, тем меньше будет ощущаться её недостаток.
Но вы, возможно, не знаете, что, хотя ЖК-дисплей имеет стандартную RGB-схему, для сглаживания кривых или закругленных углов ему также необходимы аналогичные средства, такие как ClearType и целочисленное масштабирование в Windows, а также HIDPI в Mac, — все они решают схожие проблемы.
Эти функции можно настроить программно для адаптации к различным дисплеям, но из-за более строгих ограничений по энергопотреблению мобильных устройств аналогичные алгоритмы должны быть реализованы на аппаратном уровне. Этим аппаратным обеспечением является микросхема дисплея, также называемая DDIC. Она не очень заметна и скрыта за дисплеем, но её обычно можно найти в видеоролике по разборке, который ведёт руководитель Лу Бин.
Это также последняя часть, которая может управляться программным обеспечением. Программная система не может подсвечивать каждый “субпиксель” отдельно с помощью команд. Только DDIC обладает этой функцией. Поэтому, независимо от того, о каком контенте или алгоритме вы говорите, в конечном итоге вам, возможно, не удастся избежать использования этого чипа. Сегодня я кратко расскажу о нем, и мы, возможно, еще упомянем его в наших будущих видео. После научно-популярной части перейдем к сути.
Чтобы продемонстрировать эффект субпиксельного рендеринга, я вернулся к разработке HTML, от которой отказался много лет назад, и написал веб-страницу для тестирования субпиксельного рендеринга. Также хотел бы поблагодарить г-на Нависа за его креативность. Причина, по которой я использовал веб-страницу вместо изображения, заключается в том, что разрешение экрана каждого устройства различно. Некоторые устройства имеют разрешение 1080p, некоторые — 2K, а некоторые — нестандартное разрешение, как, например, у Apple. Чтобы гарантировать, что размер тестового шаблона, отображаемого на каждом устройстве, будет одинаковым, используется один и тот же шрифт и изображение не будет подвержено сжатию, наиболее надежным способом является отрисовка с помощью кода. Хотя эта картинка выглядит относительно простой, эффект достигнут.
Реализация очень сырая, поэтому надеюсь, разработчики отнесутся к этому с пониманием. Вы можете попробовать отобразить эффект на своём мобильном телефоне. Ещё раз напомню, что алгоритм субпиксельного рендеринга фактически разрабатывается на заводе по производству микросхем DDIC и на заводе по производству экранов, поэтому разница здесь заключается в основном в различиях между экранами Samsung и отечественными экранами, LCD и OLED, а также в разном разрешении.
Поэтому, пожалуйста, не беспокойтесь о том, какую модель мобильного телефона я использую, это на самом деле не имеет отношения к этому тесту. Теперь давайте посмотрим на производительность ЖК-экрана с разрешением 1080p.
Давайте сначала посмотрим на верхнюю часть тестового шаблона. На первый взгляд, эффект отображения очень хороший, текст четкий и не размытый, а прямые и диагональные линии с интервалом в 2 единицы также хорошо различимы.
В конце концов, это ЖК-экран, так что с базовым эффектом проблем точно нет, но если посмотреть на отображение значков, например, значок новой заметки имеет непостоянную ширину слева и справа, а также сверху и снизу, и тогда взгляните на значок оголовья наушников — там тоже отчетливо видны неровные края.
Мы используем микроскоп, чтобы увеличить изображение и увидеть фактическое субпиксельное отображение. Эти полуяркие пиксели — это пиксели, заимствованные с боковой стороны для более плавного отображения. Однако ЖК-дисплей заимствует целые пиксели RGB и не может заимствовать отдельные субпиксели. На иконке стикера иконка отображается полностью без заимствования пикселей. После заимствования ширина четырех сторон становится неравной. На иконке наушников видно, что обработка недостаточно агрессивна, особенно верхний край оголовья, который не заимствован, в результате чего кривая выглядит недостаточно плавной.
Затем мы сравним производительность 1080p OLED-экрана с этими двумя иконками и сравним экраны отечественного производства и Samsung, чтобы увидеть разницу. Прежде всего, иконка стикера, похоже, имеет ту же проблему неравномерной ширины по горизонтали, вертикали и вертикали. Здесь производительность отечественного OLED-экрана кажется лучше, но изгиб иконки наушников выглядит более плавным на OLED-экране Samsung и работает лучше, чем на LCD.
Мы сравнили характеристики под микроскопом. Когда в отечественных экранах использовались субпиксели, кривая на верхнем крае заимствовала еще несколько групп пикселей вниз, и красные пиксели были очень яркими и заметными, слишком сильно вторгаясь в черную область и нарушая тем самым непрерывность кривой.
Если вернуться к тестовому изображению и посмотреть на крупные значки в нижнем ряду, экран Samsung по-прежнему имеет преимущество, но отечественный экран выигрывает при отображении текста: он выглядит четче, и меньше наблюдается цветовой окантовки по краям, вызванной заимствованием пикселей, поэтому можно сказать, что есть и плюсы, и минусы.
Из этого также видно, что при условии качественной реализации алгоритма субпиксельной отрисовки разница между OLED и LCD не так очевидна. В некоторых сценах, благодаря более точному управлению субпикселями для заполнения краев, OLED даже превосходит LCD по плавности изображения. OLED уже не тот OLED, что был раньше, подобно тому как CMOS-технология уступала CCD по качеству, но в конечном итоге вытеснила CCD. Времена действительно изменились.
Давайте сравним экраны с разрешением 1,5K и 2K. Следуя заявлению Redmi, мы будем считать iPhone экраном с разрешением 1,5K. Прежде всего, четкость изображения на этих трех экранах значительно лучше, чем на экране 1080P, особенно это касается распознавания прямых линий. Благодаря более высокой плотности пикселей алгоритм субпиксельного рендеринга имеет больше возможностей для работы, и даже отображение единичной точки получается четче, чем на экране 1080P.
Рассматривая пиксели нескольких экранов под микроскопом, мы видим, что 1,5K действительно является водоразделом, и отображаемые точки ближе к квадрату. Давайте посмотрим на зеленые линии с интервалом в 1 единицу. Разделительные линии между ними также более четкие, чем на экране 1080P.
Если сложно различить три экрана, то, взглянув на эффекты значков ниже, можно увидеть огромное преимущество iPhone. Значок стикера имеет одинаковую ширину со всех четырех сторон, а значок наушников невероятно плавный, что даже превосходит экран 2K с более высоким разрешением.
При увеличении изображения видно, что iPhone использует больше субпикселей для заполнения черной области, при этом неяркая область является самой маленькой. Однако, в отличие от отечественных экранов с разрешением 1080p, яркость заполненных субпикселей очень низкая и лучше сбалансирована, поэтому изгиб будет казаться более плавным невооруженным глазом.
По сути, после этого можно сделать вывод. В разрешении ниже 1080p ЖК-экраны и OLED-экраны Samsung имеют свои преимущества и недостатки, но оба немного превосходят отечественные OLED-экраны. Это в основном проявляется в том, что шрифты на ЖК-экранах более четкие, а обработка кривых на OLED-экранах Samsung более плавная. На уровне 1,5K производительность отечественных 1,5K, iPhone и Samsung 2K примерно одинакова, но с точки зрения плавности отображения значков iPhone демонстрирует относительно очевидное преимущество.
Конечно, представленные здесь тестовые таблицы созданы в экстремальных условиях и специально предназначены для выявления проблем. На самом деле, при использовании мобильного телефона разница в четкости самого контента может быть намного больше, чем преимущества и недостатки алгоритма.
Однако следует отметить, что стремительное развитие отечественных экранов за последние два года привело к значительному улучшению качества изображения. В первые годы «алмазный» экран Samsung отличался четкостью, но преимущества хорошего качества изображения постепенно нивелировались. В частности, в видеоролике о K50U я говорил, что в продуктах среднего ценового сегмента экраны с разрешением 1,5K должны заменить экраны 1080P. Сегодняшние результаты тестов также подтверждают это. Более того, высокое разрешение не обязательно означает четкость. Алгоритм субпиксельной обработки может нивелировать преимущество четкости или даже превзойти его.
Здесь нам нужно провести аналогию с камерой. Хороший CMOS-сенсор может определить только нижний предел. Только с помощью хороших алгоритмов и отладочных эффектов можно повысить общий верхний предел. Думаю, некоторые могут сказать, что это слишком радикально. Я считаю, что 1,5 тыс. — это хорошо. В любом случае, на практике разницы нет. Думаю, большинство людей должны так считать.
Действительно, если рассматривать видео первого этапа строительства рва, то, если копнуть только этот слой, преимущество Apple не кажется достаточно очевидным. Но вы скажете: Apple каждый год тратит огромные деньги на поиск фабрики по производству экранов для эксклюзивной кастомизации, в чем же ее сила? Есть ли какая-то деталь, которую мы не обнаружили?
Демонстрация способностей
Теперь давайте внимательнее рассмотрим экран Apple. Сравниваете ли вы его с 1,5K-экраном отечественного производства или с 2K-экраном Samsung, заметили ли вы, что пиксели Apple кажутся больше, плотнее и меньше? На самом деле, независимо от того, какой OLED-экран вы сравниваете, экран iPhone имеет самые большие пиксели. Научное название этого явления — “коэффициент апертуры” пикселя.
Увеличение коэффициента апертуры имеет множество преимуществ. Например, при одинаковом напряжении яркость пикселей с большим коэффициентом апертуры будет выше. И наоборот, достижение той же яркости позволит сэкономить больше энергии и в определенной степени продлить срок службы экрана.
Интересно, спросят ли сейчас некоторые друзья, почему так много преимуществ в увеличении коэффициента диафрагмы, ведь даже собственный 2K-экран Samsung не последовал этому примеру, и только Apple это сделала?
Честно говоря, ответ очень прост: выход годной продукции и стоимость. Производство OLED-экранов основано на технологии испарения. Три типа RGB-пикселей необходимо испарять трижды. При каждом испарении используется маска. Пиксель считается успешно зафиксированным, когда его изображение попадает на подложку через маску. Поэтому, чтобы обеспечить выход годной продукции и уменьшить количество бракованных пикселей, отверстие маски должно быть немного больше, чем размер пикселя.
Однако, если коэффициент апертуры пикселя велик и пиксели расположены плотно, размер отверстия маски оказывается очень противоречивым. Если он слишком мал, пиксель не может закрепиться на подложке и становится дефектным. Если он слишком велик, он попадает на соседний пиксель, и цвет получается неправильным. Короче говоря, это проблема всей отрасли. Я не знаю, сколько времени и средств Apple потратила на решение этой проблемы, но в итоге экраны Apple производятся на полностью независимой линии Samsung, яркость экрана iPhone стала отраслевым эталоном, а энергопотребление также очень хорошее. Возможно, это и есть сила денег.
В конце концов, мистер Кук — мастер управления цепочками поставок. Он не может допустить бесконечного роста стоимости экрана. Он наверняка придумал что-то, чтобы снизить его стоимость. Что же он придумал? Ответ можно найти, изучив один из параметров — показатель “PPI” (коэффициент PPI) экрана.
На самом деле, Apple — это совсем другая компания. Их продукция определяется размером экрана, а не разрешением, как у других. Разрешение продуктов Apple очень необычно, но если внимательно посмотреть на параметры, то можно обнаружить, что их плотность пикселей (PPI) одинакова или близка. Если оглянуться на все мобильные телефоны, выпущенные Apple за последнее десятилетие, то после перехода на дисплей Retina, LCD-дисплеи появились только в цифрах 326 и 401. Если я правильно помню, у OLED-дисплеев всего три цифры: 458, 460 и 476. Я не буду перечислять iPad и Mac по отдельности.
С точки зрения пользователя, при выборе продукта достаточно учитывать размер экрана. Экраны разных размеров обладают схожей четкостью и качеством изображения, и у пользователей запечатлевается в памяти впечатление о хороших экранах Apple. С точки зрения контроля затрат, если плотность пикселей (PPI) одинакова, то их можно считать одним экраном, поскольку они вырезаются из большой панели в процессе производства.
Даже экраны разных поколений, например, 14 Plus этого года и 13 Pro Max прошлого года. Хотя частота обновления различается, размеры и плотность пикселей абсолютно одинаковы. Должно быть много процессов, которые можно полностью повторно использовать в производстве, что еще больше снижает затраты.
Здесь есть очень скрытая стоимость — затраты на исследования и разработки в области субпиксельного рендеринга. Этот алгоритм на самом деле тесно связан с PPI, поскольку все экраны Apple разрабатываются индивидуально, и алгоритм субпиксельного рендеринга также разработан ими самими. Экраны с одинаковым PPI используют один и тот же алгоритм, поэтому нет необходимости изобретать велосипед, и достигается более целенаправленная оптимизация, что, по сути, убивает двух зайцев одним выстрелом.
Самое важное — это возможность контролировать субпиксели, что равносильно открытию двери в новый мир. Потому что можно также делать еще кое-что, а именно “компенсацию выгорания экрана”. В этом году все заметили, что функция Always On Display (AOD) на iPhone сильно отличается от Android. Экран не выключается и сразу отображает страницу блокировки, не двигаясь. Теоретически, это, конечно, с большей вероятностью может вызвать выгорание экрана, чем AOD на Android. Но, с одной стороны, коэффициент апертуры пикселей выше, что увеличивает срок службы экрана. С другой стороны, у Apple есть собственный алгоритм компенсации.
В этом месте я хотел бы напомнить, что компенсация выгорания OLED-экранов — это очень важная тема. Я могу поделиться с вами лишь некоторыми экспериментальными результатами и предположениями. Пожалуйста, примите это к сведению. Друзья, которые проводят углублённые исследования в этой области, также могут связаться со мной в комментариях и личных сообщениях.
Три года назад мы провели множество экспериментов по старению XS Max и обнаружили, что срок службы экранов Apple был намного лучше, чем у телефонов Android того времени. Признаки выгорания экрана было очень трудно обнаружить. Это вызвало у нас большой интерес. После проведения технического анализа совместно с отечественными производителями экранов мы выяснили, что ключевую роль здесь может играть микросхема флэш-памяти, которую Apple встраивает в OLED-экран.
Мы предположили, что одна из функций этого чипа — хранение времени свечения каждого субпикселя и компенсация яркости в соответствии с кривой ресурса самого пикселя. Следует отметить, что это относится к каждому субпикселю, что составляет около 8 миллионов данных. В результате, если экран не сильно изношен, признаки выгорания практически незаметны. Однако, по мере увеличения времени использования, пиковая яркость экрана будет снижаться, чтобы соответствовать яркости наиболее изношенных пикселей.
Возможно, именно поэтому Apple начала проводить сертификацию экранов в 2019 году. Только официальные экраны позволяют получить эту информацию и нормально включить функцию компенсации выгорания пикселей.
Честно говоря, такой подход очень умный и хорошо продуманный. Он не только обеспечивает контроль за официальным ремонтом, но и позволяет привязать время свечения к экрану. Для одного и того же экрана, независимо от того, как долго он используется или на какой телефон его заменяют, эффект отображения не изменится.
Причина, по которой мы предполагаем, что Apple поступит именно так, заключается в том, что iPhone демонстрирует очень хорошие результаты в тестах на старение, а также в том, что Apple действительно способна на это, и другим это сложно освоить: микросхемы флэш-памяти и DDIC должны быть разработаны индивидуально, алгоритмы субпиксельного рендеринга и компенсации выгорания тесно взаимосвязаны и должны учитываться комплексно, а кривая старения каждого пикселя должна быть измерена заранее. Каждый из этих пунктов может представлять собой сложную задачу для других продуктов, но Apple держит все это в своих руках и в итоге воплощает в уникальную функцию — дисплей Always On Display (AOD) на iPhone и Apple Watch.
В этом и заключается сила вертикальной интеграции Apple.
Однако, должен добавить, что собственные мобильные телефоны Samsung действительно имеют такую возможность, но, судя по результатам наших тестов на долговечность в том году, их производительность весьма посредственна, а текущий режим Always On Display не превосходит другие Android-смартфоны, поэтому, думаю, есть еще нерешенные проблемы.
Подведите итоги
Пора еще раз подвести итоги. На самом деле, после анализа продуктов Apple у меня часто возникает ощущение, что быть менеджером по продуктам в Apple — это очень легкая работа, потому что нет особых ограничений, нужно просто сосредоточиться на правильных вещах, а техническая команда достаточно сильна, чтобы воплотить твои идеи в жизнь.
Сосредоточение на правильных вещах и детальное, всестороннее рассмотрение решений — разве это не самая сложная часть работы менеджера по продукту? Отсутствие ограничений внешних условий на самом деле более тщательно проверяет способности менеджеров по продукту, поскольку у вас нет никаких интерфейсов.
Как и в случае с субпиксельным рендерингом и рядом связанных с ним функций, которые мы сегодня анализировали, я должен был бы подумать и о субпиксельном рендеринге и защите от выгорания пикселей, но официальная сертификация экрана, скорее всего, будет проигнорирована, и если хорошенько подумать, то основные принципы субпиксельного рендеринга и зонального затемнения на miniLED абсолютно одинаковы. Разве они все не предназначены для обеспечения плавных краев? Насколько алгоритм зонального затемнения заимствует из него?
Чем больше я изучаю Apple, тем больше убеждаюсь, что компания — учитель для всех. Она часто предлагает наилучшее решение, которое заставляет вас подражать ей. Иногда это даже сложно повторить. Как можно высмеивать других за то, что они не внедряют инновации?
Возьмем, к примеру, экран с защитой от выгорания. Сейчас все ищут решения, но проблема в том, что алгоритмы субпиксельного рендеринга, настройка функций DDIC и исследования старения пикселей — все это очень сложные задачи. Иногда, даже если у вас есть идея, вы обнаружите, что ограничены другими и не можете охватить все аспекты.
Однако стремительный рост производства отечественных экранов фактически привнес изменения в отрасль. Как я уже упоминал в видео о K50U, отечественные поставщики очень открыты, и технический обмен в ходе сотрудничества также очень искренен. Они готовы работать вместе, чтобы улучшить качество изображения на экране.