За счет чего смартфоны фотографируют все лучше и лучше
«Профиль» продолжает рассказ о том, как устроена вычислительная фотография в мобильных устройствах и к чему приведет дальнейшая эволюция фототехнологий.
Первая часть: Что такое вычислительная фотография и как к ней пришли IT-корпорации
Займемся стекингом
Сенсор айфона меньше «полного кадра» примерно в 70 раз, и для начала мобильным вендорам предстояло отыграть это гигантское отставание. Оно напрямую влияет на динамический диапазон (ДД) фотоснимка – спектр яркостей между белым и черным цветами, который в состоянии зафиксировать камера. Для ее прототипа – человеческого глаза – это понятие неактуально: «обегая» взглядом окружающее пространство, мы считываем визуальную информацию по крупицам, которые «склеивает» мозг. Из-за того, что глаз одновременно смотрит лишь в одну точку, мгновенно адаптируясь при перепадах освещенности (расширяя и сужая зрачок), каждую деталь человек видит с максимальной яркостью и контрастом.
Камера же вынуждена одновременно охватить всю сцену, настраивая экспозицию (свой «зрачок») относительно референтной точки, поэтому априори не может уловить все оттенки. Чем меньше ДД, тем хуже она передает светотеневые градации: каждый сталкивался с этим, пытаясь запечатлеть ярким днем затемненный объект, – получится либо черный передний план и красочное небо, либо искомый объект на «выжженном» белом фоне. В полнокадровых фотоаппаратах последних лет эта проблема во многом решена: динамический диапазон достаточен для большинства сцен, а в сложных случаях фотографу остается грамотно работать со светом. К тому же стремление к снимкам, на которых «все видно», характеризует любителей: известные фотографы чаще строят кадр на контрасте, выделяя главное с помощью светотеневого рисунка.
Но у смартфонов исходный ДД настолько мал, что его расширение выглядело объективно необходимым. Исходным шагом стала функция съемки в RAW-файлы – цифровые негативы, при компьютерной проявке восстанавливающие максимум информации на снимке. Первыми ее внедрили HTC и Nokia в начале 2010-х. Но этого было мало. Куда эффективнее, чем «вытягивать» темные и светлые участки в RAW-конвертере, можно расширить динамический диапазон путем добавления информации из другого кадра. Этот прием называется «эпсилон-фотография», или, как прижилось в обиходе, стекинг: создается несколько дублей с вилкой (изменением одного из параметров на заданное число ступеней), а затем они накладываются друг на друга. Тем самым имитируется способность человеческого глаза к многократному «проходу» сцены с переадаптацией. Продвинутые фотографы пользуются стекингом с 2000-х годов для самых разных задач: увеличения глубины резкости (вилка по фокусу), создания таймлапсов (вилка по времени съемки) и панорам (вилка со смещением камеры).
Применительно к ДД стекинг позволяет снять затемненные и осветленные версии сцены (эксповилка), сложить полученную информацию и в мультикадре выдать HDR-картинку (high dynamic range – высокий динамический диапазон). Попытки автоматического создания HDR были уже в iPhone 4 (2010) и Samsung Galaxy S3 (2012), но склейка требовала времени и грешила ненатуральными оттенками. Другое дело сегодня: смартфоны объединяют уже не классическую тройную вилку («нормальный» кадр, «светлый» и «темный»), а до десятка изображений, полученных с различными настройками.
Это удалось реализовать благодаря небывалой скорострельности. Быстрое считывание данных процессором, отсутствие механических деталей, моментальная автофокусировка благодаря простейшей оптической схеме – все это позволяет смартфону делать десятки кадров в секунду. В профессиональных камерах скорость серийной съемки лишь недавно приблизилась к такому уровню – до этого проблемой фотографов было снять вовремя даже один кадр, поскольку между нажатием кнопки и срабатыванием затвора оставался лаг в 0,1–0,2 секунды.
Появилось фото загадочного смартфона с фронтальной камерой на 44 Мп
В мобильной фотографии лаг равен даже не нулю, а отрицательной величине: как только пользователь откроет приложение «Камера», сенсор начинает «сыпать» снимками, сохраняя их во временном буфере, ведь это единственный способ транслировать изображение на экран. На момент нажатия кнопки затвора буфер уже наполнен фотомгновениями ближайшего прошлого: телефон выбирает среди них наиболее резкие и начинает обработку.
Сегодня HDR-режим во многих смартфонах включен по умолчанию. И потолок в его развитии явно не достигнут. Так, в айфонах появился «умный» стекинг, побаловавший пользователей необычными способами склейки кадров: например, симуляцией длинной выдержки с помощью множества коротких в режиме LivePhoto (подойдет для «сглаживания» бегущей воды). А в телефонах Google Pixel нейросетевой стекинг (HDR+) моментально проявляет и склеивает несколько RAW-файлов, чем редко занимаются даже профессиональные фотографы.
Нашествие многоглазых
Но, компенсировав размер матрицы стекингом, разработчики смартфонов мало продвинулись бы в улучшении фотографий, не придумай они решение проблемы с оптикой. Ведь от нее зависят художественные свойства картинки: передача объема, микроконтраст, рисунок в зоне нерезкости. Сенсоры лишь регистрируют пропущенный через линзу пучок света, причем если они, как положено микроэлектронике, совершенствуются с каждым годом, то оптическое приборостроение – куда более консервативная отрасль. Светосила и «воздушность» картинки прямо зависят от количества используемого стекла, а увеличение максимальной диафрагмы с f/2,0 до f/1,4 дает двукратную прибавку к весу и габаритам.
Поэтому телефонные линзы априори не выдерживают сравнения с полноценными объективами (даже если производитель нанес на корпус слова Leica и Zeiss, обладающие для многих магическим эффектом). Что же делать? Здесь смартфонам и потребовалась многокамерность (для стекинга хватило бы одного фотомодуля). Надо заметить, что попытки «клонировать» тыльную камеру предпринимались еще в 2007 году (первая подобная модель – Samsung SCH-B710), тогда покупателей пытались соблазнить съемкой 3D-фото. Но функция оказалась бесполезной, и полноценное наступление «многоглазых» девайсов началось лишь спустя 10 лет: как это часто случается, рынок заразился идеей второй камеры после того, как она появилась в айфоне.
При этом назначение нескольких камер изменилось. Сегодня они, во-первых, обеспечивают съемку с разным углом обзора. Стандартная «триада» объективов – штатный с фокусным расстоянием (ФР) 20–25 мм в пересчете на полнокадровую матрицу, широкоугольный (12–15 мм) и «дальнобойный» (50 мм).
Есть и вариации. Так, Apple остановилась на двух камерах, лишь поменяв в iPhone 11 дополнительный модуль с телеобъектива на «ширик». Китайские же компании все чаще практикуют расширенный набор: в новом Xiaomi MiNote 10 это главная линза (25 мм), портретная (50 мм), «ширик» (13 мм) плюс специальные модули для зума и макросъемки. С таким богатством необходимости во внешних накладных объективах («прищепках») больше нет: популярный в середине 2010-х аксессуар остался на обочине прогресса.
Камеру Samsung Galaxy S20 уменьшили в разрешении перед анонсом
Но главная ценность «многоглазых» устройств в том, что их камеры могут захватывать изображение одновременно, как бы помогая друг другу. Сообща мини-линзы пропускают больше света, чем каждая по отдельности, симулируя дорогую оптику с широкой диафрагмой. По сравнению с первым вариантом реализации этого принципа (в HTC One, 2014 год) сегодняшние аппараты продвинулись далеко вперед.
К примеру, у Huawei картинка запечатлевается двумя матрицами – цветной и черно-белой. Дело в том, что фотодатчики могут уловить только интенсивность потока фотонов, но не информацию о цвете (длину световой волны). Поэтому во всех фотоаппаратах матрица накрыта разноцветным фильтром, где каждому пикселю соответствует один из трех основных цветов – зеленый, красный или синий (по аналогии с тремя видами колбочек в человеческом глазу, воспринимающих определенную часть цветового спектра). Таким образом, пиксели изначально окрашиваются только в три цвета (затем путем усреднения данных соседних пикселей они смешиваются, восстанавливая весь цветовой спектр), а часть фотонов, не соответствующих заданной длине волны, отсекается. Итог – потеря света. Поэтому у Huawei один сенсор отвечает за цвет, а черно-белый, не имеющий над собой фильтра, ловит максимум фотонов: после склейки получается более яркая и четкая картинка.
Столь же элегантно мобильные бренды решили вопрос с оптическим зумом. Больше никаких выдвижных объективов, как в «Самсунгах» начала 2010-х: только «умное» объединение изображений. Одновременная съемка с двух фикс-объективов – скажем, 25 мм и 50 мм – покрывает фокусные расстояния между ними, обеспечивая двукратный зум без потери качества: прием, также немыслимый в профессиональной фототехнике. Более радикальный вариант представлен в Huawei P30 Pro: телеобъектив на 125 мм и пятикратный оптический зум. По всем законам оптики такое приближение требует выезжающей из корпуса «трубки», однако китайцы ухитрились спрятать все в тонкий корпус за счет перископической конструкции линзы.
Личный портретист
Но для многих покупателей главным символом прогресса мобильных камер стала возможность съемки портретов с малой ГРИП (глубиной резко изображаемого пространства). В профессиональной среде к снимкам с размытым фоном (боке) отношение двоякое: он полезен как инструмент кадрирования по глубине (для скрытия нежелательных предметов на заднем плане), хотя классики фотографии предпочитали как раз большую ГРИП, стремясь к смысловому обыгрыванию фона в композиции. Постепенно из палочки-выручалочки «ленивых» фотографов размытый фон превратился в своеобразный фетиш: в глазах неискушенного зрителя боке – обязательный элемент «дорогой», «профессиональной» фотографии. Это объясняется физиологически: такие изображения напоминают работу глаза, который, фокусируясь на конкретной точке, также размывает второстепенные предметы в поле зрения.
Производители смартфонов потакают вкусам публики. В середине 2010-х начались эксперименты с программным боке: гаджет выделял в кадре лицо и размывал все остальное. Результат был далек от идеала – алгоритмы неточно очерчивали человеческую фигуру, то уводя в боке часть прически и оправу очков, то, наоборот, окружая портретируемого «нимбом» из резких деталей на заднем плане. Да и само размытие, математически имитирующее рисунок оптики, выглядело ненатурально, напоминая любимый ретушерами-новичками инструмент «блюр» в Adobe Photoshop.
Стремясь улучшить портретный режим, разработчики внедрили в камерофоны технологию ToF (time of flight – время полета): специальный датчик на задней панели запускает к попавшим в кадр объектам световые импульсы, замеряя количество миллисекунд, затраченных фотонами в пути. Это упрощенный вариант лидара (LiDAR – Light Detection and Ranging) – лазерного дальномера в беспилотных автомобилях, вычисляющего расстояния до объектов в 3D-пространстве.
Сегодня ToF присутствует во флагманах Samsung и Huawei: при съемке портретов их камеры составляют карту глубины пространства, регулируя степень размытия предметов. Apple обходится без ToF, но использует в качестве дальномера вторую камеру (пока первая снимает), а также экспериментирует с технологией Dotprojector – проецированием сетки лучей на 3D-объекты (применяется в распознавании лиц фронтальной камерой).
Любопытно, что в истории фотографии уже были «многоглазые» устройства: в конце XIX века пользовались популярностью стереоскопы, а затем несколько десятилетий на рынок поступали двухобъективные «зеркалки». Но затем они сдались под напором более простых и доступных однообъективных. Теперь же смартфоны воскрешают полузабытую ветвь фототехнологий.
Детализацию заказывали?
Справившись с расширением ДД и симулировав светосильную оптику, смартфонам оставалось овладеть третьим китом качественной фотографии – высокой детализацией. Для этого был использован пиксель-шифтинг – прием, основанный на технологии внутрикамерной стабилизации (in-body image stabilization, IBIS), когда сенсор установлен на подвижной платформе, смещающейся при колебаниях рук фотографа, чтобы избежать «смаза». Она известна в фотоиндустрии с середины 2000-х, но до пиксель-шифтинга – развития идеи IBIS в стекинг по движению – производители мобильников дошли быстрее, чем большинство фотобрендов.
Суть приема в том, что камера по умолчанию сдвигает сенсор на 0,5–1 пиксель. Сделав до десятка фотографий со смещенной во все стороны картинкой, гаджет собирает их в одну, получая многократно более высокое разрешение. Фактически это то же самое, что стекинг при создании панорамы из серии кадров, только с микроскопическим смещением камеры.
Главное назначение пиксель-шифтинга – цифровой зум без потери качества. В этой фразе как будто скрыто противоречие, ведь кажется привычным, что при сильном приближении картинка распадается на отдельные пиксели (глитч-эффект). Но выяснилось, что решение поблизости: несколько дефектных фотографий превращаются в одну приличную.
Это позволило вендорам реализовать гибридный зум: линза с оптическим приближением плюс цифровой зум со стекингом дают увеличение оригинальной картинки в 20–30 раз – по сути, смартфон превращается в подзорную трубу. Как показали недавние анонсы, это не предел: в Xiaomi Mi 10 пользователи обнаружат 50-кратный зум, в Samsung S20 Ultra – 100-кратный. Сам по себе гибридный подход, когда свойства оптики, матрицы и алгоритмов дают мультипликационный эффект, – явная находка вычислительной фотографии. Между отдельными узлами фотоаппаратов такой синергии не наблюдается, а иногда стабилизация в объективе и на матрице вообще не работает одновременно.
Известно, что над усовершенствованием пиксель-шифтинга трудится Google (технология Super Resolution): по слухам, в перспективе результат будет сравним с популярным приемом из фантастических фильмов, когда изображение можно увеличивать без конца, восстанавливая лицо преступника по отражению в зрачках жертвы. Похожие разработки ведутся в «Яндексе» (DeepHD). А в Apple научились повышать детализацию снимков без пиксель-шифтинга, за счет склейки дублей, снятых с разной выдержкой (DeepFusion). Есть и другие способы восстановления изображения (деблюра): кодированный затвор, кодированная диафрагма, фазовое кодирование… До применения в смартфонах они пока не созрели, но изучаются IT-компаниями.
Ночь превратилась в день
Вершиной вычислительной фотографии, пожалуй, можно считать ночную съемку. Считается, что уж где-где, а при слабом освещении фотоаппарат даст фору мобильнику. Но если фотобренды всегда делали ставку на повышение светочувствительности (пластин, пленки, а теперь цифрового сенсора), то мобильная индустрия подошла к проблеме куда изобретательнее. Примером может послужить режим Night Sight в смартфонах Google Pixel.
В нем IT-гиганту пришлось задействовать съемку в RAW, HDR-стекинг, компенсацию «смазов», распознавание сцен нейросетями (они, к примеру, отвечают за приведение к единой цветовой гамме картинки, освещаемой «теплыми» и «холодными» лампами). А появление второй камеры в прошлогоднем Pixel 4 сделало Night Sight пригодным даже для съемки звезд. В сумме это создает ощущение волшебства: глаза видят кромешную тьму, а на фотографии – легкие сумерки. Как шутят на форумах, скоро на смартфон можно будет снять черную кошку в темной комнате и она будет четкой.
Продолжение следует.
Читайте на смартфоне наши Telegram-каналы: Профиль-News, и журнал Профиль. Скачивайте полностью бесплатное мобильное приложение журнала "Профиль".
