Что случилось на Hugging Face
Прошлый дайджест мы начинали с информации о взломе платформы для публикации ИИ-моделей и наборов данных Hugging Face. Теперь компания OpenAI, чьи агенты и проникли в инфраструктуру сервиса на этапе проведения тестов, представила детальный технический отчет, и его выводы как минимум наводят на размышления.
Ключевое: за взлом ответственна не одна ИИ-сущность, а целый набор различных агентов, которые тестировались на решение задачи по поиску уязвимостей. Изначально действуя независимо, в какой-то момент один из агентов нашел возможность менять названия файлов в менеджере пакетов Artifactory (технический инструмент для управления версиями ПО) и использовать его в качестве незаметного для разработчиков канала коммуникации с другими алгоритмами.
Поскольку у ИИ не было прямого доступа к Сети, он использовал тот же Artifactory в качестве «посредника» для отправки команд в веб от своего имени. К этому времени инженеры OpenAI обнаружили инцидент, удалили рабочую среду и все настройки, но агентам удалось повторить процесс взлома. Параллельно они нашли в интернете открытые данные, позволяющие проникнуть на платформу Hugging Face, после чего последовательно, шаг за шагом, находили новые уязвимости и использовали их для получения администраторских прав доступа, распространения их по инфраструктуре сервиса и закрепления за собой.
Главное об ИИ: алгоритмы без контроля, переписки без защиты, новый закон
Вывод простой: более продвинутые ИИ-модели будут находить все более хитроумные и в основном недоступные человеку способы решать задачи, в том числе повседневные (о чем чуть ниже). Для OpenAI это особенно актуально: в отчете указано, что ИИ-агенты, ответственные за взлом, действовали на базе модели GPT 5.6 Sol, а ведь компания с тех пор уже выпустила усовершенствованную GPT 6.
Возможности новинки настолько превосходят пятое поколение, что главы OpenAI и Nvidia поспешили заявить о наступлении эры AGI (Artificial General Intelligence) – «сильного», или «общего» ИИ, который способен развиваться независимо от человека и потенциально без контроля с его стороны. Пока это, конечно, по-прежнему маркетинг, и тем не менее один вопрос остается открытым: раз уж предыдущее поколение способно на подобные фокусы, то насколько хорошо разработчики контролируют свой так называемый AGI (который, согласно официальному анонсу, набрал 100% в техническом тесте по поиску уязвимостей ExploitBench)?
Неплановое проникновение в «Википедию»
Впрочем, и на текущем уровне развития ИИ-моделей их умение находить бреши в различных ИТ-инфраструктурах все чаще находит отражение в новостях. Недавно стало известно, что другие нейросети OpenAI в мае – июне забрались в немецкую «Википедию», где с помощью правок в статьи обменивались данными и искали попытки взлома других платформ. А когда администратор начал удалять материалы по алфавиту, ИИ стал использовать страницы, начинающиеся с символов ZZZ, чтобы до них человек добрался в последнюю очередь. А корпорация Meta* сообщила, что ее нейросеть Muse Spark 1.1 во время тестов на безопасность, аналогичных OpenAI, «сбежала» и взломала неназванную компанию.
Можно было бы выдвинуть гипотезу, на что способна такая нейросеть в руках злоумышленников, но уже есть и такой пример. В середине августа исследовательская компания Dream Research Lab раскрыла детали атаки на азиатские государственные ресурсы, обнаруженной благодаря оставленному на одном из серверов архиву. Выяснилось, что собранные хакерами агенты «по косточкам» разбирали код интернет-ресурсов, искали уязвимости, такие как пароли в открытом доступе или забытые технические аккаунты с доступами, – и в итоге в Сети оказалось несколько тысяч единиц данных о сотрудниках, а также ряд паролей к внутренним системам.
Есть пример и непреднамеренного, «бытового» хакинга из-за слишком инициативного ИИ. Некий австралиец попросил своего агента записать его на занятие в тренажерном зале. Алгоритм не пошел стандартным путем, а с помощью уязвимости проник на серверы компании и внес фамилию пользователя на несколько недель раньше разрешенного. Дальше больше: человек спросил, можно ли еще подняться в листе ожидания. Агент, увидев возможность отмены чужих броней по протоколу API без авторизации, просто поставил своего «хозяина» на первое место, сдвинув всех остальных.
Подчеркнем: во всех подобных казусах ИИ находил технические уязвимости – не всегда очевидные, но все же существующие. К тому же речь идет в основном о моделях, которых целенаправленно дообучали выявлять и использовать лазейки. И хотя эксперименты выходили из-под контроля, алгоритмы находились под строгим наблюдением, что позволило быстрее идентифицировать и исправить проблему. То есть говорить о неконтролируемом ИИ или о потенциале резкого роста хакерских атак с его помощью преждевременно – опасные модели остаются недоступными для широкого пользователя, плюс, они же могут применяться и для защиты ИТ-инфраструктуры, а не для взлома.
ИИ-контент будет проще опознать
Как и ожидалось примерно с прошлого года, маркировка ИИ-контента в различных сервисах и инструментах становится обязательной на законодательном уровне. Мы уже писали о том, что это одно из требований нового закона об ИИ в России, и наша страна здесь не исключение. Например, с августа вступили в силу изменения в европейский AI Act (регламент Еврокомиссии, регулирующий использование нейросетей), которые обязывают разработчиков чат-ботов, ассистентов и агентов сообщать пользователю, что он общается с ИИ, а не с человеком. А поставщики генеративных ИИ-систем должны включать маркировку синтезированного контента.
Искусство без души: нейросети все чаще становятся соавторами творческого процесса, вытесняя человека
Крупнейшие глобальные соцсети продолжают интегрировать ИИ-метки в свои сервисы. Instagram (принадлежит запрещенной в России Meta*) доработал систему маркировки, и теперь профили, в которых основной контент или лицо частично или полностью создано ИИ, помечается как AI-generated profile («ИИ-сгенерированный профиль»). Музыкальный стриминг Spotify ставит пометку AI Persona («ИИ-личность»), а YouTube сделал водяной знак AI («ИИ») более заметным.
В России разметка по признаку ИИ появилась в «Яндекс.Музыке» – сервисе, пользователи которого неоднократно жаловались на обилие синтезированного контента, в том числе в рекомендациях. Теперь там есть два значка, сообщающих о полном или частичном использовании нейросетей при создании трека. Правообладатели треков должны сами ставить необходимую метку, сервис же будет контролировать это с помощью алгоритмов и опираясь на жалобы пользователей. А «Кион Музыка» (сервис МТС) в августе сообщил о запуске чарта, из которого исключены треки, полностью созданные ИИ.
ИИ-браузеры с задачей не справились
Наиболее заметным анонсом последних недель, безусловно, является упомянутый ранее OpenAI GPT 6 Atlas – модель, которая уже на практике продемонстрировала впечатляющие навыки. Для начала она справилась с игрой I'm Not a Robot («Я не робот»), где надо пройти 48 небольших тестов, которые обычно появляются для пользователя перед посещением сайта («Докажите, что вы не робот»). Затем сумела за сутки (плюс $600, потраченных на работу нейросети по протоколу API) полностью пройти видеоигру-головоломку Portal.
Обновили свои флагманские модели компании Anthropic и SpaceXAI. Первая выпустила Claude Fable 5.1 и Claude Mythos 5.1, вторая – Grok 4.6. Заявляется, что они превосходят GPT 5.6 Sol, но вот насколько хороши окажутся в сравнении с флагманом главного конкурента, большой вопрос.
Главное об ИИ: спорные инициативы ИТ-компаний и новые опасности нейросетей
OpenAI тем временем отказалась от одного из своих многообещающих приложений – ИИ-браузера Atlas. Вместо этого компания сфокусировалась на развитии ChatGPT на ПК. Программа получила возможность встраиваться в Chrome с помощью плагина и фактически выполнять все те же сценарии, включая чат на основе открытой страницы, работу с файлами, управление браузером. Кроме того, в версию для macOS добавили Computer History – режим отслеживания того, что делает пользователь. Функция должна не только помогать напоминаниями («а куда я положил тот файл?» – «он находится в такой-то папке»), но и обучаться, чтобы затем выполнять ряд действий вместо «хозяина».
Anthropic, к слову, также обновила свое десктопное приложение Claude Cowork, добавив в него функции работы с вебом. Но тут подход нестандартный, обратный привычному: вместо того чтобы выпускать браузер со встроенным чатом или интегрироваться в Chrome и другие программы, разработчик встроил интерфейс работы с вебом прямо в свой чат-сервис. С одной стороны, это ни к чему пользователя не обязывает, с другой – предоставляет ему в некоторых случаях альтернативу: быстро решить задачу здесь и сейчас либо идти в другое приложение и уже там продолжать работу.
Цифры, факты, тенденции. Россия
- На 29,7%, до 316,1 млрд руб. вырос объем рынка искусственного интеллекта в России по итогам 2025 года, согласно данным агентство AIANA. Из 883 компаний, представленных в этой сфере, 386 предоставляют готовые ИИ-решения для конкретных задач.
- Каждое 10-е рабочее место в РФ подвержено высокому риску для занятости в связи с развитием технологии ИИ, по расчетам Центра трудовых исследований НИУ ВШЭ. При этом возможное негативное влияние грозит узкому кругу профессий, а главной мишенью являются офисные сотрудники.
- Прототип эталонных данных и тестовых заданий, которые позволят оценить российские нейросети на предмет соответствия духовно-нравственным ценностям, представил «Яндекс». Таким образом компания обеспечивает соблюдение положений нового закона об ИИ, который начал действовать с сентября.
- «ГигаАгента» для решения повседневных задач анонсировал «Сбер». Компания стремится предоставить пользователям альтернативу решениям «Яндекса». Для этого придется воспользоваться облачным сервисом Cloud.ru и настроить сценарии самостоятельно.
Цифры, факты, тенденции. Мир
- За $13 млрд Nvidia приобрела Hugging Face, что существенно усилит ее монопольное положение на рынке. Компания пообещала сохранить рабочие места, выдать компенсацию сотрудникам в форме акций, а также не менять подходы к модели распространения ИИ-алгоритмов и наборов данных.
- За $60 млрд SpaceXAI купила Cursor – разработчика софта для написания кода исключительно с помощью ИИ. Сделка официально закрыта, а новая модель Grok6 уже доступна пользователям сервиса. Заявляется, что ни команда, ни сам продукт не изменятся после поглощения.
- 1 млрд пользователей набрал ИИ-сервис Gemini (преодолел эту отметку в начале лета), став вторым после ChatGPT. Компания Google подчеркивает, что это самый быстрорастущий ее продукт, а также сообщает, что люди все чаще используют скриншоты и изображение с камер для решения каких-либо проблем или задач.
- Вышел OpenClaw 2.0 – вторая версия агентной системы с открытым исходным кодом и большим количеством интеграций. Ее сделали более понятной с точки зрения установки и настройки, а также добавили возможность совместной работы.
- Около $7,4 млрд заложил Тайвань в госбюджет на выплаты «дивидендов от ИИ» – пособий каждому жителю в связи с ростом экономики за счет применения технологии. В течение полугода каждый гражданин должен получить около $314.
- Безлимитное использование нейросетей анонсировало для граждан Южной Кореи правительство страны при условии, что это будут национальные ИИ-модели. Таким образом государство хочет стимулировать использование технологий, а также снизить зависимость от США и Китая.
* Корпорация Meta признана в России экстремистской и запрещена
