Иллюстрации созданы искусственным интеллектом
Несколько лет назад в индустрии смартфонов происходила самая настоящая гонка мегапикселей. Производители активно рекламировали свои устройства, стараясь переплюнуть конкурентов по цифрам, определяющим качество установленной в телефоне камеры. 36, 48, 68 — цифры менялись так быстро, что казалось, недалек тот день, когда большие фотокамеры полностью уйдут на покой за ненадобностью. В 2021 году Xiaomi представила свой Mi Note 10 — самый первый смартфон, оснащенный модулем 108 Мп. После этого на какое-то время гонка прекратилась, и стандарт в 108 Мп сохранялся. Но в прошлом году Motorola начала продажи модели Edge 30 Ultra с камерой 200 Мп, а вслед за ней Samsung сделал свой Galaxy S23 Ultra с такими же характеристиками.
200 мегапикселей — это много? Достаточно ли, чтобы снимать ночью луну и видеть на фото ее кратеры или хотя бы делать снимки, по качеству достойные обложек журналов? Правильный ответ, как всегда, неочевиден, и для этого придется немного покопаться в технических особенностях камер. В любом современном смартфоне стоит настолько сложное и комплексное устройство, что оценивать его по количеству мегапикселей — это все равно что оценивать интеллектуальные способности человека по его росту.
Миллионы точек
Мегапиксель — это единица измерения разрешения цифровых изображений, показывающая количество пикселей по горизонтали и вертикали. Приставка «мега-» означает, понятное дело, миллион. Чем больше Мп в изображении, тем выше его разрешение и тем более четким и детализированным оно может получиться при прочих равных условиях. Например, камера в 2 Мп делает снимки размером 1600 x 1200, а 12 — 3000 x 4000. Количество мегапикселей часто используется для характеристики разрешения камер в цифровых фотоаппаратах и смартфонах. Соответственно, аппарат с 12-мегапиксельной камерой может делать более резкие и детальные снимки по сравнению с 8-мегапиксельной.
Мегапиксели как понятие не имеют конкретного изобретателя или первооткрывателя. Однако можно отметить несколько важных вех в истории развития цифровых технологий изображений, которые привели к введению термина.
В значении единицы цифрового изображения его впервые опубликовал в 1965 году инженер Фредерик Биллингсли из лаборатории реактивного движения (Jet Propulsion Laboratory — JPL, научно-исследовательский центр НАСА) для описания графических элементов видеоизображений от космических зондов к Луне и Марсу. Впрочем, по его же словам, он не изобретал этот термин, а лишь использовал популярное тогда в узких кругах слово.
В 1975-м сотрудник корпорации Kodak Стивен Сассон изобрел первый в мире цифровой фотоаппарат с разрешением в 0,01Мп (100 x 100 пикселей). Вес новой приблуды составлял 3,6 кг, а для создания одной черно-белой фотографии ей требовалось целых 23 секунды. Памятью для камеры тогда выступала аудиокассета, на которую помещалось 30 снимков. Начальство отказалось от реализации предложенного Сассоном проекта, заявив: «Никто никогда не захочет смотреть свои фотографии по телевизору».
Из-за косности боссов первую цифровую камеру для массового рынка компания представила только в 1991 году. Модель называлась Kodak DCS (Digital Camera System). Разрешение ее CCD-матрицы составляло 1,3 Мп. Именно тогда термин «мегапиксель» вошел в широкий обиход.
Путь света
Каждый пиксель состоит из трех основных элементов: фотодиода, цветового фильтра и макролинзы. Фотоны света фокусируются линзой, проходят через фильтр и попадают на фотодиод.
Начнем сверху, по пути движения света. В камерах смартфонов используются линзы множества разных типов. Асферические — наиболее распространенный тип, позволяющий уменьшить сферическую аберрацию и улучшить качество изображения по краям кадра. Пластиковые — как правило, из органического пластика (полиметилметакрилат), обладают малым весом, дешевизной и легко производятся в больших объемах. Линзы Френеля — с концентрическими кольцами на поверхности, что позволяет создавать компактные и тонкие объективы. Дифракционные — с особым микрорельефом на поверхности, что влияет на фазу проходящего света и компенсирует аберрации. Градиентные — в них показатель преломления постепенно меняется от центра к краю линзы, что также корректирует оптические искажения.
Тайваньский концерн Largan Precision является крупнейшим в мире производителем линз для смартфонов. Среди его клиентов Apple, Samsung, Huawei, Oppo, Xiaomi и др. Второй по величине поставщик — это китайский Sunny Optical, который работает со своими соотечественниками типа Oppo, Vivo, Xiaomi. Существуют и другие небольшие нишевые компании, специализирующиеся на определенных типах линз. Но основные объемы заказов приходятся именно на перечисленную парочку гигантов.
Линзы фокусируют поток света на цветовой фильтр. Фильтр Байера (RGGB, назван по имени запатентовавшего устройство доктора Брайса Байера) является одним из наиболее популярных в цифровой фотографии. Он состоит из сетки в четыре ячейки: красной (R), зеленой (G), зеленой (G) и синей (B). Байер из «Кодака» разработал фильтр еще в 1976 году, и тот получил широкое распространение благодаря своей простоте и эффективности. Два пикселя G используются для улучшения чувствительности камеры к зеленому цвету, учитывая особенности человеческого зрения: в сетчатке глаза находится большое количество зеленых колбочек, которые отвечают за восприятие цвета. Ведь зеленая часть спектра имеет среднюю длину волны, что позволяет ей лучше проникать через различные слои сетчатки.
И, наконец, фотодиод, представляющий собой полупроводниковый элемент. При попадании фотонов на пиксель он генерирует маленькие импульсы электрического тока. Импульсы интегрируются (суммируются) специальной схемой в течение времени экспозиции. То есть, по сути, подсчитывается общее количество фотонов, попавших на каждый пиксель. Чем ярче точка изображения, тем больше фотонов на соответствующий пиксель попадет. Далее это аналоговое значение оцифровывается специальным преобразователем и фиксируется как цифровое значение яркости пикселя в изображении.
Также стоит сказать о типах самих матриц. CCD (Charge-Coupled Device) и CMOS (Complementary Metal-Oxide-Semiconductor) — это два основных типа светочувствительных матриц, используемых в цифровых камерах. Первая изготовлена по технологии приборов с зарядовой связью (ПЗС). Ее изобрели в 1969 году Уиллард Бойл и Джордж Смит в исследовательской лаборатории Bell Labs. CCD обладает высокой чувствительностью и хорошим качеством изображения, но при этом она более дорогостоящая и менее энергоэффективная по сравнению с CMOS.
Та, в свою очередь, является светочувствительной матрицей, изготовленной по технологии комплементарной металл-оксид-полупроводник-структуры. Ее изобрели Фрэнк Уанлас и Доу Рабойг в исследовательской лаборатории Fairchild в 1963-м. CMOS-матрица обычно более дешева в производстве. На основе этой технологии можно делать сенсоры с большим количеством мегапикселей. Однако качество изображения пока несколько уступает CCD, хотя в последнее время наметился прогресс.
Размер имеет значение
Нюанс заключается в том, что фактические размеры пиксельной матрицы практически не менялись за последнее десятилетие. Оно и понятно: все смартфоны примерно одинакового размера, чтобы удобно помещаться в ладони человека. Чтобы уместить на той же матрице большее количество пикселей, приходится уменьшать их размер. А это сильно влияет на качество изображения, и необязательно в лучшую сторону.
Размер пикселя действительно влияет на динамический диапазон камеры. Динамический диапазон — это отношение максимальной и минимальной освещенности, которую гаджет может успешно зафиксировать без потери деталей в светлых или темных участках кадра. В небольших пикселях (размером 1–2 микрона) одновременно может поместиться меньшее количество фотонов света по сравнению с более крупными. Соответственно, меньшее количество уровней яркости может быть заметно на итоговом изображении. В камерах с большими пикселями (2–3+ микрона) достигается больший динамический диапазон, так как такие пиксели способны накапливать гораздо больше фотонов перед насыщением. Поэтому при прочих равных чем крупнее пиксели в матрице камеры, тем шире ее динамический диапазон и выше возможности по работе со сценами с высокой контрастностью освещения.
Если фотодиод можно уменьшить в размерах, то с макролинзой и фильтром сделать это намного сложнее. Чтобы решить эту проблему, производители идут на ухищрения: они объединяют несколько пикселей под одним цветовым фильтром, используя технику биннинг, или субпиксельное смешение. Оригинал на английском давать не будем, дабы не перегружать текст. Из плюсов: это позволяет улучшить чувствительность камеры к свету и снизить уровень шума, что улучшает качество изображения, особенно при съемке в условиях недостаточного освещения. Еще ускоряется считывание данных с матрицы, так как сигнал суммируется непосредственно на чипе. Однако это также может привести к потере деталей изображения из-за снижения разрешения. При использовании этой технологии теряется пространственное разрешение, поскольку на выходе получается меньшее количество индивидуальных точек изображения. А потому использование pixel binning оправдано в основном для съемки при низкой освещенности, где важнее шумоподавление, а не мелкие детали. В хорошо освещенных сценах это не дает прироста качества.
Но почему производители наращивают количество пикселей в матрице, если ради этого им приходится уменьшать размеры и терять в качестве итоговой картинки? Причин тут может быть несколько. Во-первых, маркетинг. Большое количество мегапикселей выглядит красиво в рекламных материалах и привлекает покупателей, которые не всегда разбираются в нюансах качества изображения. Во-вторых, конкуренция: компании вынуждены предлагать все большее разрешение камер, чтобы не отставать от других игроков на рынке.
Гонка за прибылью имеет и положительные стороны. Например, большее количество мегапикселей дает возможность вырезать нужные фрагменты изображения без потери качества. Параллельно улучшаются технологии матриц, оптики и обработки, что компенсирует недостатки более мелких пикселей. А еще производители закладывают потенциал для использования большого разрешения в будущих алгоритмах (искусственный интеллект, дополненная реальность).
Реальные средства
Камера с матрицей 2 Мп делает снимки FullHD, с 8 Мп — в качестве 4к. Как часто вам приходится смотреть фотографии, сделанные со смартфона, на экранах с таким разрешением или выше?
Реальные тесты показывают, что сейчас 12 Мп — это оптимальное разрешение мобильной камеры, которого достаточно для большинства задач. Большее количество мегапикселей мало влияют на качество, в основном только увеличивают вес итогового файла изображения и позволяют увеличивать или кадрировать картинку без особой потери детализации.
Нельзя не согласиться с тем, что в последние годы качество фотографий, сделанных с помощью смартфонов, становится все выше. Однако реальная заслуга в этом принадлежит не количеству мегапикселей, а множеству других инструментов.
Например, в современных устройствах часто устанавливают сразу несколько камер для расширения возможностей фотографии и видеосъемки. Они могут иметь разные характеристики: фокусное расстояние, чувствительность к свету, способность к съемке в широкоугольном или телеобъективном режиме. В некоторых моделях используется стереопара камер для 3D-моделирования объектов и лиц. Сочетание снимков с нескольких источников позволяет анализировать глубину сцены для различных эффектов. Дополнительные камеры могут снимать кадры с более длительной выдержкой, что полезно в условиях низкой освещенности.
Стабилизация в камерах повышает качество фотографий за счет уменьшения размытия. Существует несколько видов стабилизации. Оптическая основана на движущихся элементах в объективе, которые компенсируют дрожание камеры. Цифровая использует постобработку изображения, а гибридная состоит из комбинации двух перечисленных стабилизаций.
Но главные детали, ответственные за создание хорошей фотографии, — это процессор и алгоритмы, которые он обрабатывает. Например, аппаратная поддержка технологии Smart HDR позволяет делать несколько снимков с разной экспозицией за одно нажатие и объединять их в одно изображение. Также во многих смартфонах установлены особые нейронные модули, оптимизированные для задач компьютерного зрения. Это позволяет реализовывать сложные алгоритмы обработки локально, то есть прямо в телефоне.
И, конечно, есть главный инструмент современности — нейросети. Построенные на их основе алгоритмы добиваются удивительных результатов, даже если обработке подвергаются фотографии очень плохого качества. Нейросети выполняют цветокоррекцию, убирают лишние детали вроде световых бликов или шумов, достраивают изображение на основе имеющихся элементов. Вспомним сцены из фильмов, в которых герои многократно увеличивают изображение с камер, чтобы разглядеть номер чьего-то автомобиля. Недалек тот день, когда это станет реальностью, доступной каждому.
***
Производители мобильных устройств всегда будут сражаться за деньги потребителей, ловко манипулируя их вниманием, жонглируя цифрами, которые кажутся простыми и понятными. Однако если копнуть поглубже, можно обнаружить тонну технических нюансов. Не стоит слепо доверять большим числам, будь то количество мегапикселей в камере или какой-то другой технологический параметр. Если относиться ко всему критически и стараться докопаться до сути, можно сэкономить силы и средства. И в результате делать отличные фотографии с помощью хорошей камеры, которую вы выбрали самостоятельно по принципу «большее — не значит лучшее».
Статья была опубликована в журнале «Человек и мир. Диалог», № 2(15), апрель – июнь 2024 г.
