• Что придумали в Чикаго
• В чем проблема таких алгоритмов
• На пути к предиктивному правосудию
• Этический барьер
• Как развиваются технологии слежки в Китае

Что придумали в Чикаго

В «Особом мнении» преступления предсказывали особые существа-медиумы, лежащие в ванне с жидкостью. Сегодняшняя реализация идеи выглядит куда технологичнее: искусственный интеллект, обработав исторические данные, вычисляет, в каких локациях (карта города разбита на 300-метровые зоны) с наибольшей вероятностью произойдут убийства, побои, грабежи и иные виды правонарушений.

По сути, это цифровой двойник города, экстраполирующий в будущее найденные закономерности. «Вы можете использовать его как инструмент моделирования, чтобы увидеть, что произойдет, если преступность возрастет в одном районе города или усилится присутствие полиции в другом районе», – объяснил профессор Университета Чикаго Ишану Чаттопадхьай, ведущий автор исследования, опубликованного в журнале Nature в июне.

Модель была опробована в прогнозировании преступлений в Атланте, Остине, Детройте, Лос-Анджелесе, Филадельфии, Портленде и Сан-Франциско. Точность прогнозов составила 90%.

Это ценная технология, уверен футуролог, амбассадор Singularity University Евгений Кузнецов. «Местные жители и так знали, что в таком-то парке по вечерам могут ограбить. И это было полезное знание, чтобы туда не ходить, – отметил он в беседе с «Профилем». – Искусственный интеллект позволил проверить житейский опыт, свести его воедино, выявить неочевидные связи и паттерны поведения преступников. Теперь полиция может работать по четким сигналам от системы, высылая патруль на дежурство в подозрительное место».

В чем проблема таких алгоритмов

Это не первый подобный инструмент в руках стражей порядка. Несколько лет назад полиция США и Великобритании закупила ПО компании Predpol, подсказывающее, как лучше расположить сотрудников в городе, чтобы покрыть зоны с наибольшим риском правонарушений. Алгоритм был обучен на данных криминальной хроники за последние 3–10 лет.

Только в США подсказки Predpol применялись в 60 полицейских департаментах. Однако некоторые из них постепенно разочаровались в программе. Например, после трех лет экспериментов от нее отказались города Маунтин-Вью и Пало-Альто (Калифорния). По мнению критиков Predpol, алгоритм выдавал системную ошибку – «самоисполняющееся пророчество». Вот как оно работает:

• ИИ полагает, что в конкретном районе есть риск преступлений,
• туда направляют больше полицейских (в ущерб другим районам),
• они находят больше нарушителей (просто выполняя свою обычную работу),
• нейросеть получает подкрепление имеющейся картины.

Таким образом перекосы в системе возрастают.

«Механизмов продуцирования ошибок известно много, – комментирует председатель Лиги независимых ИТ-экспертов Сергей Карелов. – Проблема в том, что полицейские алгоритмы учатся на человеческих данных. А эти данные искажены, потому что люди по природе предвзяты. Если в США загрузить в алгоритм 100 млн предвзятых суждений полицейских, то он будет искать преступников исключительно в черном населении, а белых не тронет. Понятно, что доля преступлений, совершаемых чернокожими, повыше, но это явно не 100%. Другие варианты предвзятостей – в каком районе живет человек, какие у него социальный статус, профессия… Из-за этого все попытки внедрить предсказательные алгоритмы пока заканчиваются на пилотных проектах. Либо общественность начинает бунтовать, либо полицейские сами видят, что получается не то».

По мнению эксперта, в ближайшее время ситуация не изменится, поскольку нет принципиального понимания, как освободить статистические выборки от субъективного фактора. «По идее алгоритм должен учиться на машинных, "чистых" данных, но именно в сфере преступлений вся статистика собирается человеком», – говорит Карелов.

На пути к предиктивному правосудию

Список технологий на службе правоохранительных органов внушителен: нательные камеры, детекторы выстрелов, роботы-полицейские, дроны-камикадзе, капсулы с GPS-датчиками для слежки… Но предсказательные алгоритмы имеют на этом фоне принципиальное отличие. Они решают стратегическую задачу: как перейти от поимки и наказания преступников к недопущению преступлений. Похожим образом развивается здравоохранение: от лечения болезней к их превентивному купированию.

«Как и в медицине, в криминалистике давно пришли к идее профилактики преступлений, анализу причин, приводящих к ним, – рассказывает Евгений Кузнецов. – Например, в 1980-х в США возникла теория разбитых окон. Социологи выдвинули гипотезу, что внешне неблагоприятная среда создает предпосылки для пренебрежения общественными нормами и девиантного поведения. И решили бороться с криминалом в американских городах путем заделывания выбитых стекол… Это сработало: криминальная обстановка резко улучшилась».

Трансатлантическая приватность: США получат доступ к данным европейцев

После терактов 11 сентября 2001 года американские спецслужбы всерьез заинтересовались прогнозированием. Тогда еще не было искусственного интеллекта, но уже можно было собирать на серверах большие данные. Министерство национальной безопасности США внедрило в правительственных зданиях и аэропортах систему скрининга потенциальных преступлений FAST, с помощью которой сотрудники выявляли подозрительно ведущих себя граждан. А ЦРУ, ФБР, Пентагон и другие ведомства стали заказчиками легендарной программы Palantir. Ее разработала группа программистов Кремниевой долины в середине 2000-х. Название отсылает к магическому камню из произведений Джона Толкиена, позволяющему видеть на расстоянии.

«Palantir – инструмент по сведению и сопоставлению гигантских массивов данных, – рассказывает Евгений Кузнецов. – В том числе неочевидных, в которых обычный человек не распознает ничего ценного: погодные условия, географические особенности местности, загрузка авиарейсов… За счет аналитики выявилось гигантское количество паттернов, и Palantir существенно повысил эффективность спецслужб».

Программа остается эксклюзивной и дорогой. Так, Иммиграционная и таможенная служба США в 2014 году заплатила владельцам Palantir $41 млн за создание системы отслеживания уголовных дел иммигрантов.

«Теперь технология предвидения вступила в фазу демократизации: появляется больше компаний, продукт удешевляется. Вопрос ведь не в том, возможна ли такая программа, а в том, могут ли ее позволить себе рядовые полицейские отделения. ИИ помогает выполнить за меньшие деньги то, что раньше делалось вручную и требовало сверхусилий», – отмечает Кузнецов.

Этический барьер

Отдельный вопрос: можно ли наказать (обезвредить, блокировать) человека, который не совершил преступление, но, согласно прогнозу, собирается это сделать? Как быть с его (пока еще) невиновностью? Этот же вопрос фигурировал в сюжете «Особого мнения». Кажется, недалеко до него и в реальности, тем более что человечество все меньше понимает логику, по которой нейросети приходят к своим выводам.

Пандемия COVID-19 подстегнула спрос на интеллектуальную слежку за гражданами

По словам экспертов «Профиля», внедрение предиктивных алгоритмов грозит ломкой юридического каркаса системы правосудия.

«Технологии подтачивают привычные нам категории, – говорит Сергей Карелов. – Как это было всегда? Один человек считает вас виновным, но он может быть неправ. Поэтому есть другой человек, который защищает. Плюс возможности для апелляции. А как быть, если камера проанализировала и вменила вам нарушение правил дорожного движения? По идее техника не ошибается! Судя по тому, как эта система работает в Москве, "автоматические" штрафы трудно оспорить».

«ИИ на службе полиции не вызывает вопросов как сугубо рекомендательный сервис, – замечает Евгений Кузнецов. – Но можем ли мы передать ему право на принятие решений? Это фундаментальный вопрос технического прогресса. Взять медицину: может ли медучреждение на основании поставленного программой диагноза выписать лекарство? Или нужно, чтобы человек его подтвердил? Фронтир этой темы – использование беспилотников на войне. Недавно ООН осторожно признала, что в конфликте в Ливии применялись автономные дроны, самостоятельно принимавшие решения о поражении целей противника. В других сферах подобные примеры пока неизвестны. Военное дело традиционно обгоняет гражданские инновации лет на 10».

Как развиваются технологии слежки в Китае

На данном этапе наиболее радикальным полем для научно-фантастических экспериментов выглядит Китай. Тотальная слежка за гражданами страны через камеры видеонаблюдения уже не новость. Но этого мало: результаты слежки интегрируется в систему социального рейтинга, осложняющую жизнь «неблагонадежным» китайцам. В июне The New York Times выпустила большое расследование, где утверждается, что последнее поколение китайских видеотехнологий нацелено на анализ поведения, предугадывание преступлений и политических протестов. Под особым контролем не только криминальные элементы, но и национальные меньшинства, трудовые мигранты и психические больные граждане.

Полиция получает сигнал о всех подозрительных действиях таких людей: наркоман слишком часто звонит на один и тот же номер; человек с психическим заболеванием приближается к школе; три человека с судимостью заселились в один отель; человек, ранее участвовавший в протестах, берет билет до Пекина и т.д.

Китайская (анти)утопия: Построение цифровой диктатуры в отдельно взятой стране

О некоторых случаях использования технологии не без гордости рассказывает сама китайская полиция. Так, в 2020 году алгоритм выявил, что мужчина и женщина на юге Китая, формально состоящие в браке, не проживают вместе и даже не встречаются во время Нового года. Полиция пришла к заключению, что брак был фиктивным для получения разрешения на миграцию.

Созданием алгоритмов для полиции занимаются Megvii, Hikvision и другие национальные стартапы. К примеру, Hikvision создает базу данных всех китайских граждан, когда-либо жаловавшихся на работу официальных лиц. Задача – не допустить их массового стягивания в Пекин, которое может свидетельствовать о подготовке протестных акций.

На днях агентство Reuters сообщило о развертывании похожих систем в Мьянме. Они будут основаны на закупленных в КНР камерах и программах. «Распространится ли тотальный цифровой контроль по планете? – задается вопросом Евгений Кузнецов. – Пока кажется, что экспорт китайских технологий ограничится Юго-Восточной Азией, в перспективе – Африкой и Латинской Америкой. В Европе и США общество сопротивляется дистанционному распознаванию лиц, требуя жестко его регулировать».

«Даже китайская система не является настолько драконовской, как ее иногда представляют, – подчеркивает Сергей Карелов. – Например, пока нет общей системы социального рейтинга для всей страны, только локальные системы в регионах. Но в целом понятно, к чему все идет. Думаю, остальной мир волей-неволей будет заимствовать китайские разработки. А что касается этики… Это зыбкое понятие. В одних обществах дозволена одна жена, в других – целый гарем. У североамериканских индейцев за подозрительный взгляд можно было поплатиться жизнью, в сегодняшнем Нью-Йорке – получить иск за харассмент. Человечество меняло этические нормы много раз и еще поменяет».