"Как и многие технологии до того, ИИ несет с собой риски и так как это столь мощная технология, риски серьезны. <…> В их числе – риск утраты контроля над ИИ-системами, использование ИИ для кибератак и биотерроризма, значительные экономические потрясения. Гонка по нисходящей (race to the bottom), которая подстегивается коммерческими мотивами, может сделать эти риски более острыми", – пишет Амодеи.
По его словам, он отдавал себе отчет в рисках и ранее, а потому Anthropic пыталась следовать путем одновременно ответственного и успешного развития. Однако в последние месяцы он убедился в невозможности полностью нивелировать риски.
"Мы должны замедлить темпы развития возможностей ИИ-моделей. Прогресс все же будет казаться быстрым, так что мы должны будем мудро использовать выигранное время", – подчеркивает гендиректор Anthropic.
Отталкиваясь от опыта инцидента с Hugging Face, Амодеи предполагает, что в течение 6-12 месяцев рои ИИ-агентов могут установить контроль над всей мировой сетью через ботнет, причем в дальнейшем масштаб потенциального ущерба будет возрастать все больше.
Он не согласен с тем, что взлом Hugging Face – это лишь неудача одной компании (OpenAI). Амодеи указывает, что схожие, хоть и менее крупные, инциденты имели место и в других компаниях, в том числе у Anthropic.
План действий Дарио включает три пункта:
- Все занимающиеся развитием ИИ компании предоставят полный доступ командам сторонних экспертов, которые будут контролировать выполнение требований безопасности, сообщать об инцидентах, помогать в оценке не только готовых ИИ-моделей, но и тех, которые находятся в разработке.
- ИИ-компании в демократических странах должны координировать свои усилия для установления единых стандартов безопасности для отрасли и пределов для развития ИИ.
- США и другие демократические страны должны попытаться наладить координацию с иными странами по этому вопросу в максимально возможной степени.
Этим летом Hugging Face привлекла внимание после хакерской атаки. В середине июля выяснилось, что автономная система на базе ИИ-агента, принадлежащая OpenAI, выбралась из тестовой среды и получила несанкционированный доступ к системам Hugging Face. Причиной "побега" стали ошибки в постановке задачи. Около 700 автономных агентов OpenAI тайно сотрудничали друг с другом, чтобы провести кибератаку.
В июле число случаев, когда искусственный интеллект лгал, игнорировал инструкции или преследовал вредные цели, почти удвоилось по сравнению с июнем, сообщала The Guardian 29 августа 2026 года со ссылкой на данные Loss of Control Observatory. Всего с начала 2026 года зафиксировано более 1600 инцидентов. Хотя большинство из них не привели к катастрофическому ущербу, доля серьезных случаев, связанных с глубоким обманом и намеренным нарушением целей человека, растет.
