Что такое вычислительная фотография и как к ней пришли IT-корпорации

Свой ответ на этот вопрос дала серия анонсов флагманских смартфонов, которую с начала февраля провели Samsung, Xiaomi и другие бренды. Как повелось в последние годы, в первую очередь они щеголяли их камерами, превратившимися из приятного бонуса в центральную функцию мобильников. Однако ни число матриц и объективов, ни другие горячо обсуждаемые характеристики не дают представления, за счет чего удалось добиться прорыва в мобильном камеростроении.

Sony представила смартфон Xperia L4 с тройной камерой

Главным ноу-хау стали методы обработки кадра с участием искусственного интеллекта (ИИ). Называемые в совокупности вычислительной фотографией, они усложняются с каждым поколением моделей и до неузнаваемости преображают зафиксированный камерой световой поток. Таков очередной этап эволюции фототехники, всегда стремившейся к компактности и быстродействию. От волшебства, творимого с помощью опасных химикатов в темной комнате, это привело фотографию к простейшим «однокнопочным» устройствам с почти неограниченным ресурсом.

Пока знатоки спорят о смелых решениях вычислительной фотографии, публика голосует рублем, предпочитая смартфоны «полноценным» камерам. Не стоит ждать полного исчезновения «зеркалок»: часть пользователей не примет новую технологию так же, как в свое время мастера пленочной эпохи в штыки встретили «цифру». И все же в долгосрочной перспективе мобилография ставит под угрозу существование именитых японских фотоконцернов. В последние годы они, хотя и обозначили стремление бороться за аудиторию, сильно уступают производителям смартфонов по темпам развития. И в результате уходят от прямой конкуренции, перебрасывая усилия с исчезающего рынка любительских аппаратов на продукцию элитного уровня.

В сети показали примеры фотографий на камеру Xiaomi Mi 10

Это лишь начало тех процессов в мире мультимедиа, которые запускает тотальная смартфонизация. Как ожидают эксперты, вскоре вычислительная фотография перейдет от компенсации недостатков мобильного «железа» к созданию некой улучшенной копии действительности, где уже нельзя будет отделить фотографию от компьютерной графики, а настоящую реальность от дополненной. Вслед за тем разработка пленоптических, вживляемых и других типов камер приведет к появлению новых аудиовизуальных техник и жанров искусства. Как это происходит, можно проследить на примере дрон-фотографии.

Впору будет заново формулировать смысл фототехнологий: зачем мы пытаемся «удержать мгновения», коллекционируем картинки – доказательства жизни? Впрочем, привычка задаваться подобными вопросами к тому времени может полностью атрофироваться.

«Профиль» запускает серию материалов о том, как сегодня устроены фототехнологии и почему их дальнейшая эволюция обещает переворот на рынке электроники и в нашем восприятии мира.

Революционные 2010-е

Эксперименты с цифровой фотографией начались в 1970-х, а на массовый рынок технология вышла в конце 1990-х, почти одновременно породив два типа устройств: «зеркалки» и камерофоны. Первый фотоаппарат современного типа (Canon EOS D2000, 1998 год) всего на пару лет опередил мобильники с «глазком» в задней крышке (Kyocera VP-210 и Sharp J-SH04, 2000-й). С тех пор наличие камеры стало маркетинговой приманкой телефонов всех форм и марок, но долгое время о конкуренции с фотоаппаратами речи не шло: возможности «старших братьев» были несравнимо выше, а плюсы мобилографии исчерпывались концепцией «камеры, которая всегда с тобой».

Кстати, в середине 1990-х разработчики полагали, что камера в мобильнике понадобится только для видеозвонков – на прототипах она располагалась спереди, примыкая к экрану, и лишь затем была убрана на тыловую панель. Но пользователи камерофонов вдруг принялись снимать все подряд, и в 2000-х фронтальные камеры пришлось вернуть уже с другой целью – ради селфи.

За счет чего смартфоны фотографируют все лучше и лучше

Постепенно идея целиком скрестить телефон с фотоаппаратом, «упаковав» достоинства последнего в карманный девайс, все сильнее захватывала умы разработчиков. На рынке появились мобильники с зум-объективами: от Nokia N93 2006 года с трехкратным зумом до моделей Samsung начала 2010-х с десятикратным, внешне напоминавших компакт-камеры («мыльницы»). А в 2012 году Nokia 808 PureView сравнялась c «мыльницами» по площади сенсора – 1/1,2 дюйма.

Но прорывными эти модели не стали – габариты смартфонов росли быстрее, чем качество снимков. В итоге производителям пришлось смириться с тем, что по физическим параметрам за фотокамерами не угнаться, и пойти совсем в ином направлении.

Тут можно вспомнить мультфильм «Крылья, ноги и хвосты»: зачем страусу равняться на грифа, пытаясь набрать высоту? У него слабые крылья, зато быстрые ноги – значит, можно добежать до пункта назначения, пока гриф летит.

Фотография: от античности до наших дней

V–IV вв. до н.э. Китайские и древнегреческие философы впервые упоминают камеру-обскуру – метод проецирования светового рисунка через отверстие в стене темной комнаты.

XIII–XV вв. Камера-обскура находит применение в астрономических наблюдениях, а затем в живописи Ренессанса.

XVIII в. Начало экспериментов со светочувствительными материалами. В 1725 году химик Иоганн Шульце обнаружил «отпечаток» фотонов (частиц света) в растворе хлористого серебра.

1799 год. Томас Веджвуд получает изображение силуэтов на бумаге, пропитанной светочувствительным раствором, но не может его сохранить: силуэты исчезают под дальнейшим воздействием света.

1826 год. Нисефор Ньюпс, используя открытый им метод гелиографии и камеру-обскуру, создает «Вид из окна в Ле-Гра» – старейшее из дошедших до нас фотохимических изображений.

1839 год. Год официального изобретения фотографии. Луи Дагер представляет аппарат для получения позитивного отпечатка на медной пластине с серебряной эмульсией – дагеротип.

1839 год. Сразу же появляется альтернативный метод – калотипия Фокса Тальбота. В отличие от дагеротипа, он позволяет получить негатив, а уже с него печатать позитивы. Решена проблема тиражирования фотоснимков.

1840 год. Йозеф Пецваль создает первый светосильный объектив (f/3,7). Для получения кадра больше не нужна многоминутная выдержка, что открывает дорогу для портретной съемки. Начало эпохи фотоателье.

1861 год. Первая цветная фотография в истории – «Тартановая лента» Томаса Саттона.

1871 год. Ричард Мэддокс представляет технологию желатиносеребряного фотопроцесса, объединившего преимущества дагеротипии и калотипии. Аналоговая фотография основана на нем по сей день.

1880-е годы. Джордж Истмен меняет металлические пластины на гибкий фотоматериал – рулонную целлулоидную пленку. Основана компания Eastmen Kodak, заточенная на максимальное упрощение фототехнологий.

1900 год. Eastman Kodak выпускает камеру Brownie по рекордно низкой цене – $1. Начало эпохи массовой фотографии.

1897–1902 годы. Компания Carl-Zeiss-Stiftung патентует «Планар» и «Тессар» – самые популярные оптические схемы объективов по сей день.

1910–1920 годы. Из кино в фотографию приходит пленка 35 мм. Это позволяет уменьшить камеры до карманных и наладить серийный выпуск дальномеров.

1910–1930 годы. Доминирование немецкой фотоиндустрии. Успехи компаний Voightlander, Contax, Ernst Leitz (Leica).

1936 год. В продажу поступают первые цветные фотопленки – Agfacolor Neu и Kodachrome.

1948 год. Первый фотоаппарат, проявляющий снимки сразу после экспонирования, – Polaroid Land 95. Начало эпохи моментальной фотографии.

1940–1950 годы. Формирование японской фотоиндустрии. Рыночные успехи компаний Nippon Kodaku (Nikon), Canon, Minolta, Asahi Optical (Pentax), Fujifilm.

1979 год. Первый фотоаппарат с автоматическим фокусом – Canon AF-35M.

1970-е годы. Начало экспериментов с электронной фотографией – сохранением изображения на кремниевую микросхему, покрытую светочувствительными фотодиодами. Снимки разрешением 100х100 пикселей записывались на магнитную ленту.

1982 год. Kodak выпускает в продажу фильм-сканер – устройство для оцифровки пленочных негативов. Появляется возможность компьютерного редактирования снимков.

1986–1992 годы. Появление термина «мегапиксель», программы Adobe Photoshop и файлового формата JPEG.

1998 год. Первый цифровой фотоаппарат современного типа – Canon EOS D2000. До этого матрица крепилась к фотокамере в составе «цифрового задника».

2000 год. Первый мобильный телефон со встроенной камерой – Kyocera VP-210.

Начало 2000-х. Стоимость цифровых «зеркалок» падает ниже $1 тыс. Массовая миграция любительской фотографии с пленки на «цифру».

2008 год. Появление режима видеосъемки в «зеркалках». Panasonic выводит на рынок беззеркальные фотокамеры.

2010-е годы. Появление смартфонов с несколькими фотомодулями и «интеллектуальной» обработкой изображения. Начало заката фотоаппаратов как отдельного устройства.

2000–2010 годы. Начало экспериментов с фотографией светового поля. Выпуск первых пленоптических камер компанией Lytro.

С середины 2010-х рост матриц в камерофонах остановился: последние несколько поколений iPhone и Samsung Galaxy обходились 1/2,55 дюймовым сенсором (лишь в анонсированной на днях модели Galaxy S20 он увеличен до 1/1,3 дюйма). Это повторяет развитие цифровых камер, которые тоже не стали копировать пленочные размеры кадра, и в результате аналоговые 35 мм превратились из «малого формата» в цифровой «полный кадр». Средний и большой форматы ушли на периферию рынка, зато появились «кропнутые» сенсоры: 35-миллиметровый кадр, уменьшенный в полтора-два раза. Миниатюризацию матриц цифровая фотография компенсировала принципиально новым качеством – высоким попиксельным разрешением снимка.

А вот трюк, на который пошли производители смартфонов: в помощь к одной камере добавить еще несколько, благо места на задней панели предостаточно. В 2014 году HTC One стал первым смартфоном с двумя тыловыми фотомодулями, к 2018-му стандартом рынка стала связка из трех камер, а в 2019-м вышла первая пятикамерная модель – Nokia 9 PureView, наследница и антипод той самой 808 PureView с единственной суперматрицей.

Но даже если усеять заднюю крышку камерами, это мало что дало бы, не используй мобильники свое главное преимущество – наличие под крышкой мощного «центра управления полетами», то есть собранной сенсорами информацией. Это позволило заменить оптический конструктив «зеркалок» сложными цифровыми преобразованиями.

На передовой прогресса

Быстрый доступ к достижениям IT-индустрии за считанные годы превратил смартфон из сугубо «походного» девайса в мини-компьютер. Если 1990-2000-е стали временем реализации «закона Мура» (формуле, гласящей, что производительность кремниевой микроэлектроники удваивается каждые 24 месяца) для домашних устройств, то в 2010-е пришло время портативных.

Сегодня, судя по тестам, мобильные чипы Apple Bionic и Qualcomm Snapdragon сопоставимы с «начинкой» настольных ПК (их даже начали внедрять в ноутбуки, переворачивая иерархию гаджетов: теперь на передовой прогресса смартфон, а десктоп – его увеличенная версия). Не отстают показатели оперативной памяти (до 12 Гб) и внутреннего накопителя (до 1 Тб), постоянно шлифуются операционные системы (сегодня кажется недоразумением, что к суперматрице Nokia 808 PureView прилагалась простейшая ОС Symbian).

Все это сделало возможным развитие нейросетевых программ, которые отличаются от обычных способностью самостоятельно регулировать настройки, запоминая реакцию пользователя. Первоначально искусственный интеллект в смартфоне (например, в виде голосового ассистента) был проекцией облачного сервиса: в самом девайсе не хватало мощности для ИИ-вычислений и емкости для хранения обучающей выборки, поэтому он постоянно обращался к интернет-ресурсам. Однако с выходом на рынок нейроморфных чипов (NPU – neural processor unit), первым из которых был Huawei Kirin 970, мобильники получили собственный «мозг», работающий без подключения к Сети. С каждым днем «умные» гаджеты все точнее ориентируются во вкусах своего хозяина, и кто знает, как мутирует их функционал через десяток лет, когда они будут знать всю нашу подноготную...

Сам термин «вычислительная фотография» (computational photography) появился еще в конце 2000-х в исследованиях профессора Стэнфордского университета Марка Левоя. Он определил ее как набор компьютерных изобразительных приемов, расширяющих возможности фототехники. Главный тезис Левоя: съемка – лишь начало создания кадра, программная «доводка» – обязательный второй этап.

Первыми пробами пера стали фильтры Instagram (2010 год), режим Auto Enhance в iOS 5.0 (2011-й)… И понеслось: гонка камерофонов запомнится как одна из примет 2010-х, в исторической перспективе не уступая ажиотажу вокруг дагеротипии в середине XIX века или появлению малоформатной пленки в начале двадцатого.

Что любопытно, никто не смог победить: судя по авторитетному рейтингу DxOMark, показатели лидеров рынка – Samsung, Huawei и Apple – примерно равны. В 2020 году фотовозможности смартфона определяются не брендом, а ценовой категорией; во флагманских аппаратах инновации внедряются всеми одновременно. Это позволяет рассматривать вычислительную фотографию не как историю корпоративной борьбы, а шире – как достижение человечества.