• Подводные камни новой технологии
• Дипфейк простыми словами
• Зачем имитировать голос человека
• Возможности для злоупотребления
• Когда отрегулируют дипфейки
• Как выявляют дипфейки

Подводные камни новой технологии

Само определение дипфейка – ИИ-контента на стыке deep learning (глубокого обучения, предназначенного для создания сложных ИИ-систем) и fake (фальшивки) – содержит негативный оттенок. Оно и понятно: получается, что с помощью ИИ, который растет и развивается семимильными шагами, людей хотят обмануть.

Пойманные в нейросети: как ИИ "захватил" человечество и почему всем это выгодно

Это вызывает закономерные опасения: согласно опросу, проведенному по заказу «Лаборатории Касперского», 45% респондентов считают, что дипфейки будут активно применяться злоумышленниками. Компания в сфере биометрического распознавания iProov в прошлом году в рамках исследования выяснила, что именно беспокоит людей в связи с развитием дипфейков. Больше всего это возможность «кражи личности» злоумышленниками для доступа к банковским и иным аккаунтам либо для создания новых аккаунтов и кредитных карт, а также риск быть обманутым.

Если обобщить, фундаментальных проблем, связанных с развитием дипфейков, две. Первая: любой цифровой контент с участием человека теоретически может оказаться фальшивым, будь то фотография, голос, видеоролик или «написанный» кем-то текст. Вторая: любой голос или внешность могут быть подделаны для использования в фальшивых аудио- или видеоматериалах – опять же теоретически. На практике, конечно, все намного сложнее.

Дипфейк – это прежде всего инструмент, а значит, его применение целиком и полностью зависит от того, в чьих руках он оказался. В этом смысле он ничем не отличается, например, от обычного фоторедактора, с помощью которого можно как улучшить снимок, так и смонтировать фальшивку для шантажа или дискредитации. Разве что для качественного использования фоторедактора нужны специальные навыки, тогда как дипфейк-сервис этого требует не во всех случаях.

«Уже сейчас есть возможность создавать текстовые и голосовые дипфейки, которые не сможет распознать среднестатистический человек, – поделился с «Профилем» директор лаборатории кибербезопасности Сбербанка Дмитрий Кудияров. – Причем это не требует глубоких технических знаний, а сами инструменты свободно доступны в интернете. С видеодипфейками ситуация немного сложнее, но при условии небольшой постобработки профессионалом в области видеомонтажа можно достичь потрясающих результатов».

Иногда дипфейки действительно сложно отличить от реальности, рассказал руководитель направления синтеза и распознавания речи компании «Наносемантика» Григорий Шершуков. Но, несмотря на то, что прогресс в этой области идет очень быстро и в ближайшие годы качество дипфейков будет улучшаться, достижение нулевых отличий все же маловероятно даже в отдаленной перспективе. «Всегда будут определенные моменты или детали, которые могут выдать подделку, особенно при внимательном анализе. Это может быть вопросом ближайших 5–10 лет, но и тогда могут сохраниться подводные камни, по которым получится распознать дипфейк», – прогнозирует Шершуков.

Что иронично, дипфейк-технология совершенствуется не только с развитием генеративного ИИ в целом. Разработки в этой сфере активно финансируются инвестиционными фондами. В мае исследовательская компания PitchBook подсчитала, что только за 2022 год в развитие дипфейк-стартапов было вложено в общей сложности $187,7 млн (в 2017-м этот показатель составлял $1 млн).

Дипфейк простыми словами

В основе разработки дипфейков лежит единый принцип: обучение ИИ на массиве реального и синтезированного контента с последующим воспроизведением. Для этого применяются генеративно-состязательные нейросети (GAN). Несколько нейросетей «соревнуются» между собой: одна создает звук или изображение, а вторая оценивает их «естественность». Таким образом ИИ самосовершенствуется до того момента, пока не сможет выдавать реалистичный результат.

Как правило, нейросеть получает два набора входных данных: источник голоса или внешности и целевой контент, на которые голос или внешность нужно «надеть». Сначала вычленяются все необходимые параметры из первого набора, затем нейросеть пытается применить их ко второму набору – до тех пор, пока не получится достаточно качественно учесть все что нужно: интонации речи, мимику лица и т.д.

Зачем имитировать голос человека

Основная задача дипфейков на законном рынке – имитировать человека там, где сложно или невозможно использовать «живые» записи. Если говорить про голос, то неочевидным, но самым показательным примером будет «озвучивание» голосовых ИИ-ассистентов, популярность которых растет. Поскольку нейросетям для имитации человеческого голоса нужны живые референсы, разработчики нанимают актеров озвучивания, чтобы те начитывали массив текстов, который и используется для обучения ИИ. Ассистент Apple Siri (один из пионеров в этой области), например, говорит голосом американки Сьюзан Беннетт, а «Яндекс.Алисе» голос подарила Татьяна Шитова.

Может ли искусственный интеллект спасти современную музыку?

Более популярный пример – озвучивание аудиокниг. В начале этого года корпорация Apple запустила каталог произведений, озвученных с помощью синтезированного голоса, а также ИИ-инструмент AI Digital Narration для автоматической начитки. На запуске было представлено два голоса, сегодня в каталоге их пять. Пока такие сервисы непопулярны, поскольку качественно работать с аудиокнигами куда сложнее, чем «озвучивать» голосовых ассистентов: намного большую роль играют интонации, определяемые смыслом и контекстом. Ошибки здесь недопустимы, а ИИ пока сильно отстает от живых актеров. Но в ближайшем будущем это может измениться за счет развития GPT – масштабных ИИ-моделей, которые как раз и заточены на понимание смыслов и контекстов.

Синтезированные ИИ голоса применяются также в рекламе, объявлениях в публичных местах и т. д. Все эти случаи дипфейками, как правило, не называют, хотя суть та же: голоса живых людей «подделываются», чтобы не приходилось каждый раз нанимать актеров.

Другое дело – дипфейки в кино. Там обман лежит на поверхности, ведь зритель видит, что перед ним то, чего не может быть. Первым громким примером стал «Форсаж 7», вышедший в 2015 году: студии пришлось доснимать фильм без главного актера Пола Уокера, который погиб в автокатастрофе. Чтобы не менять сюжет кардинально, пригласили брата Пола, поверх которого «надели» дипфейк, чтобы достойно попрощаться с постоянным участником франшизы.

Сегодня студии нередко прибегают к дипфейкам, когда использовать живых актеров невозможно. Disney, которой принадлежит франшиза «Звездные войны», в новых фильмах и сериалах вселенной активно представляет молодых персонажей, сыгранных актерами почти полвека назад. С помощью дипфейков студия «оживила» персонажа актера Питера Кушинга, умершего в 1994 году. Вот только качество этих дипфейков не раз подвергалось критике. Один из YouTube-блогеров даже показал, как можно улучшить цифровой образ персонажа в сериале «Мандалорец». В результате Lucasfilm (принадлежит Disney) пригласила блогера на работу.

Я только спросить: можно ли доверять ответам ChatGPT и прочих нейросетей

Такое развитие технологий начинает вызывать беспокойство у профессионального сообщества. В августе к забастовке сценаристов в США присоединились актеры: они требуют от студий пересмотра условий сотрудничества, в том числе в контексте возможного использования их цифровых образов вместо живой игры. Студии пока отреагировали только на требования сценаристов, но можно предполагать, что интересы актеров так или иначе тоже будут удовлетворены и учтены в будущих контрактах.

Помимо применения в сфере развлечений, дипфейк может стать и социально-политическим высказыванием. В 2018 году в США во время школьной стрельбы в Портленде погиб подросток. Спустя несколько лет, перед очередными выборами, его родители опубликовали ролик, в котором дали слово дипфейк-образу погибшего сына. Так они обратились к людям с призывом идти голосовать за тех, кто не допустил бы подобной стрельбы в школах.

Возможности для злоупотребления

Несмотря на возможные положительные сценарии применения дипфейков, чаще они упоминаются все же в негативном ключе, и регулярно в таких случаях фигурируют мошенники. В апреле этого года, например, в США злоумышленник попытался получить выкуп самым банальным способом: убедив мать 15-летней девочки в том, что держит ребенка в заложниках. Для этого он использовал ИИ-симуляцию голоса подростка, которая «кричала» в трубку, и в момент звонка у женщины не возникло сомнений, что кричит именно ее дочь.

Глубокие заблуждения: в КНР начали законодательно бороться с дипфейками

Аналогичные способы мошенники используют для кражи денег со счетов компаний. В 2019-м в Великобритании злоумышленнику удалось по телефону убедить сотрудника одной из компаний в том, что он – его босс (дипфейк передавал даже особенности интонации), и заставить перевести на счет подставной фирмы около $243 тыс. А в этом году в Китае мошенник использовал видеодипфейк: позвонил по видеосвязи сотруднику технологической компании под видом его друга и попросил срочно перевести более $600 тыс. «на свой новый проект». Сотрудник перевел было деньги, но на всякий случай решил сделать контрольный звонок настоящему другу. Большую часть трансфера удалось остановить, но часть денег все же ушла мошенникам.

Таких случаев становится все больше. По данным опроса разработчика в области криминалистики Regula, 37% компаний в мире становились жертвами голосовых дипфейков и 29% – видеодипфейков. Это неудивительно, поскольку растет число широкодоступных ИИ-сервисов, а в интернете без труда можно найти инструкции, как подделать чужой голос и внешность. И это даже не статьи в даркнете: материалы лежат в открытом доступе и рассказывают, например, как можно переделать известную песню под голос другого исполнителя. Само собой, такие инструменты берут на вооружение и мошенники.

Есть и другой аспект, вызывающий тревогу: дипфейк-технология сегодня ни в одной стране качественно не регулируется властями. А это значит, что защитить от несанкционированного использования свою биометрию (уникальные данные голоса и внешности) крайне трудно, что способствует не только мошенничеству, но и спорным ситуациям, которые нельзя назвать незаконными.

В начале сентября нашумела история российской актрисы озвучания, которую пригласили в крупный банк для начитки массива текстов. Предполагалось, что голос будет использоваться для синтеза речи виртуального ассистента, однако позднее он попал в открытые базы данных и использовался в роликах сомнительного характера, что серьезно навредило репутации актрисы. Схожая история произошла с американским актером, который озвучивает персонажей в видеоиграх: в июле он обнаружил, что его голос используется в проектах, на которые он не подписывался и за которые не получает финансовой компенсации. К сожалению, такие сценарии законодательно пока никак не проработаны.

Когда отрегулируют дипфейки

Сегодня в мире постепенно прорабатываются инициативы, направленные на регулирование применения дипфейков. Это происходит в рамках общего регулирования ИИ либо, как в случае с Китаем, генеративного (меры вступили в силу в августе этого года). Понятие дипфейка там не определяется, однако прописаны правила использования данных для обучения генеративных нейросетей.

В США, которые являются лидером в сфере генеративного ИИ, профильное законодательство пока отсутствует: дипфейки никак не регулируются. В ЕС, напротив, законопроект активно разрабатывается: весь сгенерированный ИИ контент должен будет маркироваться, а сами нейросети должны быть ограничены в создании нелегальных продуктов.

В России начиная с апреля готовится законопроект по регулированию ИИ, однако публичной версии пока нет, равно как и каких-либо подробностей. Известно, что он будет направлен на борьбу с мошенническим использованием технологии, а в июне сообщалось, что одним из направлений станет вопрос обезличивания данных.

Как выявляют дипфейки

Способов защитить свою биометрию самостоятельно сегодня не так много: если человек публикует свои фото и видео в соцсетях, созванивается через приложения видеоконференц-связи и т. д., эти данные сразу можно считать «утекшими». Уже есть нейросети, которые способны подделать голос по короткой записи, вплоть до 30 секунд, хотя качество такого фейка будет, конечно, невысоким.

Машинное воспитание: что общего у Макиавелли и искусственного интеллекта

Есть много рекомендаций по распознаванию уже созданных дипфейков. В случае с голосом нужно обращать внимание на интонации, эмоции и их соответствие смыслу. Видеодипфейки распознать еще проще: в них, как правило, заметны искажения черт лица, тени вокруг глаз и странные «моргания», «отслаивание» губ и неестественные движения рта. Вот только с развитием технологий все эти рекомендации могут устареть.

«В ближайшие несколько лет дипфейки любого типа будут отличимы только при помощи специальных алгоритмов детекции – нейросетей, которые обучены на большом количестве сгенерированного и оригинального контента под эту задачу, – считает руководитель исследовательских проектов VisionLabs Александр Паркин. – Перспективные механизмы детекции будут включать в себя принятие решения на основе нескольких модальностей и источников – изображений, аудио и, например, графа знаний (структуры данных, в которой хранится информация о связи понятий и объектов)».

Самый очевидный вариант выявления дипфейков – использование нейросетей, схожих с теми, которые применялись для их создания. Поскольку в основе лежит принцип «состязания», алгоритмы обучаются не только создавать реалистичный контент, но и определять его слабые места, а значит – выявлять сам дипфейк. Но по понятным причинам этого подхода будет недостаточно: теоретически такая «гонка» нейросетей может быть вечной. Соответственно, нужны иные механизмы определения дипфейков.

Дмитрий Кудияров из Сбербанка в качестве примера приводит маркирование контента неразличимыми для человека «водяными знаками», наличие которых будет свидетельствовать о том, что данное видео, аудио или текст были синтезированы искусственным интеллектом. Такой инструмент в конце августа представила Google для маркировки сгенерированных изображений.

«Другое перспективное направление исследований – так называемое подтверждение происхождения, – продолжает Кудияров. – По задумке исследователей, технология позволит отслеживать происхождение аудио, видео или текстового материала до источника с учетом всех преобразований. В основе данного подхода может лежать другая популярная технология – блокчейн, где будет записана в неизменяемом виде вся история того или иного материала, что позволит удостовериться в его аутентичности».

Подобные технологии не будут жить сами по себе: компании должны будут встраивать их в свои сервисы, для того чтобы защищать пользователей. Например, телеком-оператор может запустить услугу по распознаванию дипфейк-голоса во время разговоров по телефону. Григорий Шершуков из «Наносемантики» считает, что подтверждающие подлинность водяные знаки и цифровые подписи могут быть интегрированы на уровне аппаратного обеспечения камер или микрофонов, что сделает подделку еще более сложной.

Также эксперт подчеркивает, что только технологического развития будет недостаточно: «В будущем одним из ключевых направлений в борьбе с дипфейками будет комбинация технологических и образовательных подходов. Повышение осведомленности людей и умение критически оценивать информацию будут столь же важными, как и разработка новых технологий».