Стартап Cathedral проверял защиту Anthropic в рамках программы bug bounty – вознаграждения за найденные уязвимости. Сначала люди-исследователи несколько дней пытались взломать систему и не смогли. Потом запустили ИИ-агентов – автономные программы, которые действуют без постоянного участия человека. Агентам хватило менее 12 часов.
Какие данные Anthropic получили ИИ-агенты Cathedral
По данным Anthropic, Cathedral получила доступ к ограниченному набору систем продаж, управления персоналом и IT. Под угрозой оказались контактные данные и базовые записи аккаунтов некоторых клиентов и партнеров. Исходный код и веса моделей искусственного интеллекта – параметры, на которых обучена модель, – не пострадали.
Сами агенты добрались до стенограмм совещаний, информации о зарплатах и условиях найма, а также сообщений в Slack. Переписка сотрудников с Claude, по всей видимости, не утекла.
Реакция Anthropic на взлом
"Наш мониторинг зафиксировал часть активности Cathedral еще до того, как они сообщили нам о ней. Мы отключили их доступ в тот же день", – заявила Anthropic в комментарии The Washington Post.
При этом, по данным Gizmodo, Anthropic обвинила Cathedral в нарушении правил программы: стартап не раскрыл полный объем своей активности. Выплатят ли вознаграждение за найденные уязвимости, неизвестно.
Кто стоит за стартапом Cathedral
Cathedral – не группа энтузиастов. Стартап занимается наступательными и оборонительными кибероперациями для армии и правительства США. Среди основателей – бывший директор по данным Пентагона Гэвин Клигер, Люк Фарритор, известный расшифровкой древнеримских свитков с помощью машинного обучения, бывший сотрудник SpaceX Марко Элез и Джек Стайн.
Все они ранее работали в американской структуре DOGE – инициативе по сокращению федеральных расходов и модернизации госуправления.
Почему инцидент с Cathedral и Anthropic важен
Anthropic готовится к первичному размещению акций (IPO) – выходу компании на биржу. Утечка конфиденциальных данных, пусть и в рамках легальной программы, – плохой сигнал для инвесторов.
"То, что слабые места в обычном корпоративном ПО могут поставить под удар инфраструктуру даже самых передовых организаций, должно стать сигналом для каждой компании в Америке", – говорится в отчете Cathedral, который цитирует The Washington Post.
Высокопоставленный чиновник из администрации Трампа анонимно сообщил The Independent: "Если группа ребят, только что основавших компанию, может это сделать, то Китай, возможно, недалеко".
Что говорят эксперты о взломе Anthropic
Джейкоб Крелл, старший директор по безопасным ИИ-решениям и кибербезопасности Suzu Labs, считает, что ничего экстраординарного не произошло: агенты Cathedral попали в Anthropic так же, как злоумышленники попадают в другие компании, – через поставщиков. "Уровень безопасности ограничен самым слабым поставщиком, с которым вы интегрируетесь, и никакие внутренние разработки этого не изменят", – сказал Крелл.
Дарин Фредде, старший директор Ridge Security, похвалил Anthropic за то, что компания сообщила о срабатывании мониторинга и приняла меры. Но, по его словам, "настоящая мера устранения – независимая проверка того, что эти пути атаки закрыты. Иначе мы просто закрываем входную дверь и надеемся, что никто не нашел запасной ключ".
Взлом показал, что даже компания, которая занимается безопасностью ИИ, уязвима через стороннее ПО. Для рынка это значит, что проверять придется не только собственные системы, но и всю цепочку поставщиков.
