"Мы продолжаем оценку этой модели, но наши предварительные прикидки демонстрируют достаточно высокий уровень производительности, чтобы мы не могли исключать достижения критического уровня возможностей", – отмечают в компании.
Предпринимаемые шаги таковы:
- вводится более жесткий контроль безопасности для высокопроизводительных моделей; это относится в том числе к изолированным испытательным средам, закрытым сетям, доступу к инструментам;
- временно останавливаются внутренние операции с использованием Astra, которые не отвечают повышенным требованиям безопасности;
- введено постоянное наблюдение за всеми агентскими приложениями с Astra; будут оцениваться цепочки рассуждений, а достижение высокого уровня риска задействует протоколы безопасности;
- над оценкой возможностей модели поработают с соответствующими государственными агентствами и организациями, которые занимаются вопросами безопасности в ИИ-сфере;
- будет обеспечен дополнительный контроль безопасности для партнеров, которые занимаются тестированием.
Об этом говорили представители OpenAI и на конференции по кибербезопасности Black Hat ранее на этой неделе. Так, по словам, Майкла Далтона, компания начала "сознательно замедлять разработку ради обеспечения безопасности".
Как комментируют в Axios, это, по-видимому, первый раз, когда одна из ведущих ИИ-компаний приняла решение о замедлении разработки своей модели в связи с кибербезопасностью.
Впрочем, в июне конкуренты OpenAI из Anthropic призвали к всеобщей паузе в разработке ИИ – модели развиваются слишком быстро.
В начале июня президент США Дональд Трамп подписал указ, предписывающий компаниям-разработчикам в добровольном порядке проходить государственную верификацию защищенности новых нейросетей в течение 30 дней перед релизом.
Подробно о новых опасностях нейросетей писал в "Профиле" Виктор Сергеев.
