Какими станут камеры в смартфонах в новом десятилетии

Первая часть: Что такое вычислительная фотография и как к ней пришли IT-корпорации
Вторая часть: За счет чего смартфоны фотографируют все лучше и лучше
Третья часть: Что купить: смартфон с несколькими камерами или фотоаппарат?
Четвертая часть: Закат «зеркалок»: почему фотоиндустрия проигрывает конкуренцию смартфонам

Умерьте свои мегапиксели

Как будет развиваться мобильная фотография? Экспансия на рынке игроков из Китая стимулировала прогресс во второй половине 2010-х – у HTC, Ericsson и других сбавивших обороты вендоров не осталось шанса преуспеть (именно китайцы задали невероятный темп, представляя новые модели каждые пару месяцев: даже Apple с ее фирменными осенними презентациями ощутила себя на периферии событий и недавно решила перенять китайскую стратегию). Но, как признаются собеседники «Профиля», с каждой новинкой нарастает ощущение дежавю: производители обещают «невероятное» качество фотографий, жонглируя понятиями, которые трудно измерить, либо приводя мало что значащие цифры.

Камеру Samsung Galaxy S20 уменьшили в разрешении перед анонсом

Символом такого подхода стала гонка мегапикселей – главной приманки покупателя на протяжении всей истории цифровой фотографии. Еще в начале 2010-х производители смартфонов нацелились на рекорды: так, Nokia 808 PureView (2012 год) имел «на борту» 41 Мп, превосходя почти все «зеркалки» своего времени. В прошлом году начался новый виток гонки: осенью вышел смартфон с камерой на 64 Мп (Realme XT), недавно были анонсированы 108-мегапиксельные флагманы Samsung и Xiaomi, а в лабораториях Samsung уже тестируется сенсор разрешением 144 Мп.

Для брендов это, похоже, золотая жила: чем больше мегапикселей, тем мощнее требуется процессор, больше объем внутренней памяти… Словом, обновляться можно бесконечно. Но знающие фотографы лишь качают головой: увеличение числа пикселей при сохранении того же размера матрицы ничего хорошего не сулит. На каждый пиксель попадет меньше света, итог – более «шумная» и менее богатая переходами яркости (динамическим диапазоном) картинка.

В конечном итоге, говорят техно-эксперты, мобильные вендоры все больше увлекаются «играми» маркетологов, связавших инженеров по рукам и ногам. Так говорят, когда параметры устройств диктуются не научно-техническими достижениями компании, а диспозицией на рынке: нужно дать пользователю строго не больше того, что он получит у конкурентов в той же ценовой категории (в таком же подходе упрекают «тормозящую» фотоиндустрию). А при отсутствии прорыва в лабораториях выпускать новинки с «виртуальными» улучшениями, нахваливая их на все лады.

«В огромном потоке анонсов трудно отследить, где заканчивается инженерное мастерство и начинается маркетинг, равно как и предугадать, какая функция «выстрелит», – комментирует фотограф Георгий Джеджея. – Когда Samsung выводил на рынок Galaxy S9, с большой помпой рассказывали о функции переменной диафрагмы, которую можно настраивать, как на «больших» камерах. Но она не прижилась. А за год до этого появился iPhone 7 Plus с двумя камерами, что было подхвачено рынком и создало целый тренд. Вывод один: нужно смотреть по факту на получающиеся фотографии, а не на результаты синтетических тестов».

У iPhone 12 появится камера с новой функцией

Примером того, как инновационный этап сходит на нет и технология выходит на «плато», может послужить история компании Light, сделавшей ставку на радикальное увеличение числа камер в устройстве. В модели Light L16 разработчики собрали под одним корпусом 16 сенсоров по 13 Мп и такое же количество объективов с разным фокусным расстоянием (по пять линз с 35 мм и 70 мм, шесть линз со 150 мм). Формально это был не смартфон, а фотокамера, при этом использовались все достижения вычислительной фотографии: склейка кадров в HDR-картинку, пиксель-шифтинг с повышением разрешения до 130 Мп, программный рефокус (смена точки фокусировки и глубины резкости при постобработке).

Однако, выйдя на рынок в марте 2018-го, Light L16 не снискала успеха: при всем изобилии камер устройство не умело корректно «сшивать» изображения – «доморощенные» алгоритмы компании уступали нейросетевым чудесам от лидеров мобильной индустрии. Затем Light пообещала выпустить гаджет с девятью камерами, но дальше прототипа дело не сдвинулось. Наконец, сократив число камер до пяти, вместе с Nokia выпустила смартфон Nokia 9 PureView. Но и он не стал хитом (общий рейтинг на DxOMark – 88, меньше, чем у популярных флагманов).

«Light L16 стала чем-то вроде прикола для технофанатов, покупавших ее из любопытства, – вспоминает основатель проекта Fototips.ru Игорь Скрынников. – Но таких людей единицы на миллион. Камеру Light даже нельзя было найти в фотомагазинах, что логично: ни одному фотографу не придет в голову носить с собой сразу 16 объективов. В зависимости от того, что надо снять – завод, спортивный матч, женский портрет, – он подберет оптику с конкретными свойствами. А остальной массе пользователей нужно просто сделать красивое селфи на смартфон, и 16 объективов здесь совершенно ни к чему».

Бегство в дополненную реальность

Соревнование брендов по числу камер и другим физическим параметрам скоро сойдет на нет, прогнозирует Георгий Джеджея: «Нужно отталкиваться от того, какую проблему решает новая технология. В этом смысле очевидно, что смартфоны с разрешением 100 Мп, – это тупиковый путь, потому что нехватки разрешения давно нет, 12-мегапиксельные сенсоры – устоявшийся стандарт, которого достаточно. А ведь многопиксельные сенсоры дороги в производстве, плюс к ним в комплект нужно производительное «железо» для обработки данных. Каждый дополнительный модуль камеры тоже стоит денег».

Sony представила смартфон Xperia L4 с тройной камерой

Производители постараются улучшать фотосъемку более дешевым способом, уверен эксперт. «Если сформулировать проблемные места мобильных камер – телерасстояния, съемка в динамике – и поискать их решение, то мы поймем, что оно не требует увеличения матрицы, насадок-объективов и прочих способов, которыми обычно улучшают фотокамеры. На смартфонах того же самого добиваются вычислениями, склейкой кадров. Поэтому будущее за алгоритмами – тут до потолка еще далеко».

Предполагается, что невиданные для «больших» фотокамер возможности по видоизменению, «дорисовке» кадров будут появляться в смартфонах за счет чипов с искусственным интеллектом (ИИ), распространившихся на рынке в последние два года и позволивших переместить нейросетевые вычисления с облачного сервера на устройство. Камеры смогут «оживлять» сюжет на этапе постпродакшна, удалять нежелательные предметы и вклеивать недостающие, регулировать освещение и фон.

Сделайте нам красиво!

Роль нейросетей в мобильной фотографии поистине трудно переоценить. Законодателем мод здесь является Google: в свое время IT-гигант выкупил разработки DNNresearch (компании, основанной нейропсихологом Джеффри Хинтоном, изобретателем методов обучения нейросетей) и натаскал алгоритмы на базе огромного архива изображений, загруженных пользователями Google Фото.

Фактически за камерой осталась роль точки входа визуальной информации на устройство, а за итоговую картинку отвечает искусственный интеллект (что напоминает «командную работу» органов зрения и мозга у человека). «Умный» гаджет способен определить попавшие в видоискатель объекты, понять, какую фотографию задумал его владелец, и оптимизировать настройки. Например, расширить границы кадра, чтобы в него попал весь сюжет, мгновенно сделать снимок, если его предполагаемый герой улыбнулся, или подсказать, если он моргнул и необходим другой дубль.

Притчей во языцех стали режимы бьютификации: ИИ, соотносясь с базой лиц фотомоделей, настойчиво пытается приукрасить внешность портретируемого – изменяя прическу и форму лица, нанося макияж, «отбеливая» кожу до матового блеска. Чаще подобная обработка выполняется в специальном приложении (FaceTune, YouCam, Perfect 365 и другие), но иногда камера по умолчанию берет на себя функции пластического хирурга, косметолога и визажиста. И отключают эту опцию далеко не все.

В самом деле, зачем мелочиться, «приукрашивая» небо в HDR-режиме, если можно просто подменить скучные облака на роскошный закат, взятый из базы шаблонов. В фотографии будущего трава станет зеленее, вода мокрее, а для ночного кадра можно будет выбрать в меню все классические ингредиенты: луну, звезды, соловья… И это не преувеличение. Уже сейчас в нейроморфных камерах Huawei пользователю предлагается так называемый MoonMode: определив, что в кадре оказалась луна, телефон заменит невзрачное белое пятно на небе на заранее припасенную луну «с открытки».

Это один из простейших вариантов применения в фотографии технологии дополненной реальности (AR). Она хорошо известна пользователям соцсетей, где с некоторых пор вошли в моду селфи с наложением на лицо масок, стикеров, штампов и прочих «веселых картинок». Более продвинутая версия AR-камер предполагает сканирование 3D-сцены ToF-камерой (той, которая сегодня используется в ряде смартфонов для имитации портретного боке): распознав объекты в кадре и определив расстояние до них, гаджет построит компьютерную модель сюжета, предоставив пользователю широкие опции по редактированию.

И это явно обеспечит ему, пользователю, более впечатляющий опыт, чем простое улучшение светочувствительности матриц или рисунка оптики на «больших» фотоаппаратах. По мнению главного идеолога вычислительной фотографии, профессора Стэнфордского университета Марка Левоя, в этом суть технологии: делая кадр, автор лишь дает технике отправную точку для создания искусственной картинки. В отличие от «прямой» фотографии прошлого, каждый снимок будущего станет «амальгамой, интерпретацией, улучшением или вариацией», убежден Левой.

В общем, скоро не придется ехать в Рим, чтобы сделать селфи на фоне Колизея. Сфотографируйтесь в лифте, и вдруг на фоне вырастут древнеримские арки – так, что и не отличить. А на переднем плане окажетесь не вы (даже с разглаженными морщинами), а кто-то очень похожий с внешностью голливудской звезды. Смартфоны, эти волшебные палочки XXI века, исполнят любые грезы: если не преобразят жизнь, то хотя бы покажут, какой она могла быть.

Продолжение следует.