Есть ли риски для человечества
Масса сообщений о том, что очередной передовой ИИ выбрался из тестовой среды и без предупреждения что-то натворил в инфраструктуре той или иной организации, вызвали логичную реакцию. Основным инфоповодом первой половины осени стали публично высказываемые опасения: дескать, бесконтрольное развитие технологий может привести ни много ни мало к уничтожению человечества.
Давайте загибать пальцы. В начале сентября из Anthropic уходит исследователь Джейкоб Коксон: мол, нельзя способствовать разработкам, которые могут привести к вымиранию человечества. Глава ИИ-компании Дарио Амадей публично позицию поддерживает – он даже предупредил Совбез ООН о потенциальных угрозах. Продолжать выпускать новые Claude, впрочем, это ему не помешало.
Схожих позиций придерживаются главы SpaceXAI (Илон Маск), Google DeepMind (Демис Хассабис) и, собственно, OpenAI (Сэм Альтман). Последний даже заявил об отсрочке IPO минимум до 2027 года в связи с сомнениями в безопасности технологии. Впрочем, и он не стесняется запускать в открытый доступ новые версии ChatGPT. В целом представители индустрии говорят, что бесконтрольное распространение нейросетей может привести к серьезным негативным последствием в ближайшие полгода-год.
Главное об ИИ: коварные алгоритмы, маркировка музыки, отказ от умных браузеров
Тем не менее конкретных реалистичных сценариев – как именно ИИ может погубить людской род – никто не назвал. Есть несколько «прогнозов». Например, если цели ИИ будут не совпадать с человеческими, то потенциальный сверхинтеллект может приоритезировать свои задачи и решать их за счет жизней – ввиду отсутствия у него морали как таковой (именно поэтому Anthropic активно прорабатывает этический свод правил, некий аналог законов Азимова). Нейросети могут разработать потенциально смертельный для человечества патоген. Могут одновременно атаковать значимую долю глобальной энергетической инфраструктуры. Могут стать причиной ядерного конфликта. Много чего могут – но, в конце концов, с тем же успехом могут этого и не сделать (вероятность, как говорится, 50 на 50).
Если разобрать большую часть перечисленных сценариев (кроме первой, которая выглядит наиболее фантастической), станет ясно, что у них действительно есть некоторая перспектива. Только причина кроется не в ИИ, а в неаккуратном его использовании человеком. Заметный прецедент едва не случился несколько месяцев назад (стало известно о нем только сейчас).
Западные СМИ сообщили, что американские военные весной чуть не развязали конфликт с Китаем из-за одного разведывательного отчета. Документ утверждал, что на борту китайского судна на Ближнем Востоке находятся компоненты для разработки ядерного оружия. Военные уже готовились к перехвату, но перепроверили данные. Выяснилось, что отчет содержал искаженные ИИ-чат-ботом выводы, пропущенные аналитиком. Как говорится, ошибочка вышла.
Обман, переубеждение и подлоги
Компании продолжают делиться инсайтами о том, как именно алгоритмы находят обходные решения. Больше всех рассказала та же OpenAI, в числе прочего перечислив наиболее распространенные приемы, которыми пользуются ИИ-модели.
Основных шесть: указания самой себе (поэтапная корректировка системных инструкций для обхода заданных ограничений); рекомендации скрывать собственные ошибки, обнаруженные при повторных проверках; применение чужих API-ключей в открытом доступе; подгрузка данных в Сеть для фальсифицирования подтверждающих ссылок; использование репозиториев для обмена информацией с другими копиями ИИ-модели; использование публичных файлообменников для передачи документов друг другу в обход ограничений.
Главное об ИИ: алгоритмы без контроля, переписки без защиты, новый закон
Такая сводка была сделана на основе ряда взломов за последние несколько месяцев, включая нашумевший Hugging Face, а также свежий случай в конце сентября. Стоит отметить, что называть подобные подходы тенденцией пока преждевременно. Скорее это предостережение ИИ-разработчикам: имейте в виду, что продвинутые нейросети способны на такие фокусы.
Что же предлагают компании в качестве противодействия угрозам? Пожалуй, уже традиционные способы, прежде всего – еще больше увеличить срок выхода моделей с целью проведения дополнительных тестов с привлечением большего числа специалистов. OpenAI, в частности, предложила подход, при котором ИИ-эксперты системно, а не выборочно присоединяются к проверке моделей до их выпуска в открытый доступ. Также компания сообщила, что приостанавливает обучение своих самых продвинутых моделей после очередного инцидента с выходом из тестовой песочницы.
Другие компании выступают со схожими инициативами, и новые поводы для этого копятся. Например, в сентябре стало известно, что в июле хакерская команда Hacktron за трое суток с помощью нескольких моделей Anthropic Claude Opus (включая новую на тот момент Opus 5) смогла завладеть несколькими рабочими профилями сотрудников OpenAI с доступами к коду на платформе GitHub, рабочим перепискам в Slack и Gmail, файлам на облачном диске.
К «коллегам по цеху» присоединилась Google, которая рассказала о том, что ее Gemini тоже достаточно умная, чтобы выбраться из изолированной песочницы и взломать сайты трех компаний. Инцидент случился в мае, но известно о нем стало только сейчас. В таком контексте интересно будет посмотреть отчеты ИИ-компаний через месяц-другой: окажется ли подобных инцидентов меньше? По-видимому, вряд ли.
Сколько нам открытий чудных
Впрочем, есть и хорошие новости. Anthropic решила выйти в «офлайн» и сфокусироваться на научных исследованиях с применением ИИ. О планах было известно еще с начала года, но в сентябре компания подтвердила, что на основе ее моделей действует «мокрая лаборатория» для биологических исследований (участие живых специалистов заключается только в составлении первичных инструкций и физическом проведении предложенных алгоритмами экспериментов). Разработчики не планируют конкурировать с фармацевтическими корпорациями – напротив, они хотят сфокусироваться на задачах, до которых у ученых обычно не доходят руки.
Искусство без души: нейросети все чаще становятся соавторами творческого процесса, вытесняя человека
За несколько месяцев работы (сколько точно она функционирует, неизвестно, но не более полугода) лаборатория уже привела к открытию, на которое могли бы уйти годы. Объединенные усилия почти тысячи ИИ-агентов позволили выявить ферментную систему у бактериофагов (вирусов, поражающих бактерии). Исследователи утверждают, что это не описанный ранее биологический механизм, который напоминает CRISPR – методологию редактирования генов.
Как к нему пришли? На первый взгляд, просто: 950 агентов на протяжении 21 часа перебирали генетические последовательности, пока не обнаружили «странную» последовательность. Конечно, в основе лежат более сложные процессы, вот только в чем именно они заключаются, разработчики сами не знают (или не рассказывают). Но они сочли важным продемонстрировать потенциальные возможности нейросетей в научной сфере. Для этого, само собой, открытие должно быть провалидировано настоящими биологами.
Еще одно перспективное применение генеративного ИИ – «чтение мыслей». Пока, конечно, в кавычках: инженерам из Научного института Вейцмана в Реховоте (Израиль) удалось обучить нейросеть «восстанавливать» изображения, которые видит человек, основываясь на его мозговой активности. И, наоборот, предсказывать, как поведет себя мозг в зависимости от того, что человек видит. В будущем, как полагают авторы исследования, это позволит коммуницировать с парализованными людьми, визуализировать сны или даже полноценно читать мысли – хотя бы фрагментарно.
Поток новинок не иссякает
После периода относительного затишья, который был связан с переходом на удлиненный цикл релизов с более строгим контролем, ИИ-разработчики вернулись к активному выпуску новых моделей. Причем все одновременно.
OpenAI представила сначала GPT 6 в более дешевых по сравнению с Astra версиях Sol и Luna, а потом, не откладывая в долгий ящик, GPT 6.1. Компания Anthropic не отставала и сделала доступными сперва флагманскую Claude Opus 5.5, затем более массовую и дешевую Claude Sonnet 5.5. Компания SpaceXAI продолжает участвовать в гонке (хоть и без громких заявлений) с Grok 4.7, а Google уже в октябре вышла с Gemini 4 Argon, которая должна в очередной раз сократить отставание от конкурентов.
А "ось" забыли: Google полностью фокусируется на ИИ-моделях и сервисах
Китайские разработчики стараются держаться наравне, но у них с новыми моделями пока все не так гладко. Заметнее всех была Alibaba с одной из самых популярных китайских нейросетей Qwen 3.8 Omni Flash. Заодно компания рассказала, что четвертая версия, а затем 4.5 и 5 станут сильно мощнее – в общем, грозят всех победить в будущем (и исключать их успех нельзя).
Отечественные разработчики тоже подарили несколько приятных инфоповодов, преимущественно «Яндекс» (до событий с дата-центрами в середине октября, после которых развитие сегмента ИИ у компании неизбежно замедлится). Корпорация представила Alice AI Foundation LLM – полностью российскую ИИ-модель, без иностранных компонентов. А также показала Sona – специализированную рекомендательную нейросеть на генеративных технологиях (ранее такие инструменты реализовывались на более простых инструментах). «Сбер» же обновил свою нейросеть генерации роликов Kandinsky до версии 6.0 Video: она опубликована в открытом доступе.
Отдельно стоит сказать про развитие сервисов на базе ИИ от глобальных корпораций. Они постепенно возвращаются к идее суперприложений – программ, способных решать одновременно большое число различных задач, включая поиск в Сети и даже просмотр контента (встроенный в ИИ браузер, а не наоборот).
Такие новинки показали Microsoft и Anthropic. Первая разделила приложение Copilot на три функциональных раздела: Home (для чата и работы с приложениями на диске через функцию Cowork), Code (для разработки) и Autopilot (агент для автономной работы с облачными и веб-сервисами). Anthropic также объединила в общем интерфейсе чат- и агентную функциональность Claude с инструментами работы с приложениями Cowork. А OpenAI представила dots – аналогичную OpenClaw систему на базе GPT 6 Astra для создания собственных ИИ-инструментов, интегрированных с привычными мессенджерами и рабочими приложениями.
Цифры, факты, тенденции
- 10 млрд руб. в год планирует инвестировать Минцифры в развитие отечественных ИИ-решений. Компаниям будут предоставляться гранты и льготные кредиты как на разработку, так и на приобретение необходимого для вычислений оборудования.
- 13-е место в рейтинге самых популярных в мире мобильных сервисов с генеративным ИИ Andreessen Horowitz заняли приложения «Яндекса» со встроенной «Алисой AI». Других отечественных разработок в топе не оказалось. Первые три места занимают ChatGPT, CapCut (редактор видео) и Gemini.
- Дата-центр в космосе развернула корпорация Google для тестирования в рамках проекта «Ловец солнца» (Project Suncatcher). Инженеры будут изучать возможности охлаждения девайса в открытом космосе, воздействие радиации и в целом подход к орбитальным вычислениям.
- Биологические нейроны применили исследователи компании The Biological Computing для совершенствования генерации видео. Клетки мозга обладают свойством недолгого хранения импульса после прекращения подачи энергии. Это свойство затухания сигнала используется для восстановления информации в процессе генерации, что позволило создавать более долгие и при этом четкие фрагменты.
- В кластеры до 500 тыс. чипов можно объединять новый ИИ-процессор Zhenwu V900, представленный компанией Alibaba в сентябре. Ожидается, что устройство будет конкурировать с девайсами Nvidia, которая сохраняет статус монополиста на глобальном рынке при ограничениях поставок в Китай.
