"Необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции. Это можно сравнить с аварийным тормозом", –написал Наделла. По его словам, для более совершенных моделей потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать.
Почему Сатья Наделла считает необходимым создание "тормоза" для ИИ
Глава Microsoft отметил, что в последние десятилетия при внедрении программных систем люди имели инструменты, позволяющие проследить системы до конкретного участка кода. В современных ИИ-системах подобное понимание механизмов недоступно. Люди не способны связать поведение модели и ее результаты с конкретными данными, которые использовались при обучении. Несмотря на это, компании продолжают внедрять ИИ-агентов – автономные программы, которые самостоятельно выполняют задачи, – предоставляя им доступ к наиболее чувствительным данным.
"Именно поэтому пришло время остановиться и пересмотреть архитектуру доверия для новой эпохи. Мы не можем просто передать другим ответственность за то, что искусственный интеллект делает от нашего имени. Заверения поставщика модели не освобождают нас от этой ответственности", – подчеркнул Наделла.
Что предлагает глава Microsoft сделать для контроля за ИИ
Сатья Наделла считает необходимым окружить недетерминированные модели – то есть системы, которые при одних и тех же входных данных могут выдавать разные результаты, – надежной архитектурой, средствами контроля человеком и проверенными эксплуатационными процедурами. Одним из способов он называет рассмотрение передовых моделей как потенциальную внутреннюю угрозу. По его словам, в мире уже выработаны практики безопасности – установление личности пользователя, ограничение привилегий, регистрация действий – и теперь эти принципы следует применять к ИИ.
Первым шагом он называет прозрачность цепочки рассуждений модели, которая должна быть обязательным требованием. Также необходимо использовать модели для взаимного состязательного тестирования. ИИ-модель, по его мнению, нужно отделить от управляющей оболочки – программы, которая координирует ее работу, – и от набора действий, которые ей разрешено выполнять, а средства контроля и защиты вынести за пределы модели.
Наделла перечислил принципы наблюдаемости: разнообразие моделей, наблюдение за всеми действиями, возможность проверки, независимые средства контроля, независимый аудит, изоляция и сдерживание, раскрытие информации об инцидентах. "Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше", – заключил он.
Ученые предупредили о риске вымирания человечества из-за ИИ к 2100 году
На этом фоне комиссия журнала Lancet по глобальным угрозам здоровью XXI века ранее опубликовала доклад, в котором говорится, что злонамеренное использование ИИ, включая биологическое оружие, и ядерный конфликт с ядерным голодом – массовым голодом, вызванным климатическими последствиями ядерных взрывов, – несут риск вымирания человечества в ближайшие 75 лет. Ученые отмечают высокую степень неопределенности таких сценариев, но указывают на необходимость их включения в анализ из-за потенциальной масштабности.
Эксперты выделяют три направления рисков, связанных с ИИ: использование для разработки биологического оружия, интеграция в критически важную инфраструктуру (что может привести к массовым политическим дипфейкам – поддельным видео и аудио, созданным нейросетями, – шантажу и проблемам с автономным ядерным оружием) и потеря контроля в результате появления общего ИИ-интеллекта, то есть системы, способной решать задачи на уровне или выше человеческого.
Помимо злонамеренного использования ИИ, в перечень угроз вошли загрязнение воздуха, устойчивость к противомикробным препаратам, изменение климата, ядерный конфликт, пандемии и другие. Все эти угрозы взаимосвязаны, поэтому решать их нужно вместе.
Призывы замедлить развитие ИИ и позиция Трампа
Ранее Axios со ссылкой на источники сообщил, что ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются крупного инцидента с ИИ в ближайшие 6–12 месяцев. Главы ИИ-гигантов не исключают кибератаки, которая приведет к прекращению доступа к финансовым услугам, интернету или электро- и водоснабжению.
В конце августа глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы сохранить контроль над технологией. Его призыв поддержали глава OpenAI Сэм Альтман и руководитель xAI Илон Маск.
Президент США Дональд Трамп, в свою очередь, отверг эти призывы. "Послушайте, мы опережаем Китай в сфере искусственного интеллекта... И, честно говоря, я хочу, чтобы так оно и оставалось, потому что тот, кто победит в гонке технологий искусственного интеллекта, – победит в целом", – сказал он.
OpenAI раскрыла, как ИИ-модель обошла "песочницу" и вышла во внешнюю сеть.
