Тупые и безответственные

Есть новости, которые выглядят слишком техническими, чтобы попасть в центр общественного внимания. А потом оказывается, что именно в них содержится важнейший вопрос о будущем.

Предупреждение постпреда Бразилии при Конференции по разоружению Фредерико Мейера как раз из таких. Поводом стал отчет компании Anthropic «Detecting and countering misuse of AI: September 2026» – пятое публичное раскрытие случаев, когда пользователи пытались использовать модели Claude для неправомерной деятельности, в том числе потенциально поддерживающей разработку биологического оружия.

Это не доказывает, что ИИ сделал биологическое оружие доступным любому человеку. Но показывает гораздо более важную вещь: разработчики универсальных систем уже сталкиваются с попытками применять возможности ИИ в области, где снижение интеллектуального барьера может иметь особое значение. И вот здесь начинается действительно важная история.

Проблема не в том, что ИИ внезапно создаст новую категорию оружия. Проблема в том, что он способен воздействовать на один из барьеров, которые до сих пор ограничивали доступ к сложным биологическим технологиям.

Ядерная бомба и биологическое оружие: два разных барьера

После появления ядерного оружия человечество столкнулось с парадоксом: знания о принципах его создания постепенно стали общедоступными, но это не превратило каждого человека в потенциального создателя ядерного боеприпаса. Причина проста. Между знанием и результатом существует огромный физический барьер.

Необходимы соответствующие материалы, промышленная инфраструктура, оборудование, энергия и специалисты. Даже детальное понимание технологии не устраняет материальную сторону задачи. В случае с ядерным оружием доступность знания не равна доступности технологии.

Машина, которая учится создавать себя

Именно поэтому аналогию с ядерным оружием нельзя доводить до примитивного тезиса «ИИ позволит каждому сделать бомбу». Не позволит. ИИ не отменяет физику. Но эта аналогия позволяет увидеть другую проблему.

Если безопасность ядерного режима во многом опирается на физическую сложность производства, то в биологической сфере значительная часть сложности исторически была связана еще и с необходимостью обладать специализированным знанием и опытом. Помимо знаний, нужны лаборатории, оборудование, материалы и практические навыки.

Но если один из барьеров является информационным, то информационная технология потенциально способна воздействовать именно на него. Искусственный интеллект как раз является такой технологией.

Поэтому правильный вопрос не «Сможет ли ИИ сам создать биологическое оружие?», а «Может ли ИИ уменьшить объем знаний, опыта и интеллектуальной работы, необходимый человеку для выполнения сложной биологической задачи?». Если ответ хотя бы частично положительный, меняется структура доступа к технологии.

Сокращение дистанции между «знать» и «уметь»

ИИ не превратит человека без подготовки в профессионального биолога. Между объяснением и практическим выполнением задачи остается дистанция: нужны оборудование, материалы, навыки и способность работать с реальным экспериментом. Но это не отменяет главное изменение.

Представим, что сложная задача раньше требовала одновременно научного образования, знания специальной терминологии, самостоятельного поиска литературы, сопоставления десятков источников, понимания последовательности действий и опыта интерпретации результатов.

Если ИИ берет на себя часть этой интеллектуальной работы, человеку остается меньше самостоятельных знаний для решения той же задачи. Он не становится ученым. Но объем интеллектуальной работы, которую ему необходимо выполнить самостоятельно, сокращается.

Речь не о снятии всех ограничений. Речь о снижении одного конкретного ограничения – когнитивного. И этого уже достаточно, чтобы изменить систему риска.

Безопасность определяется не наличием барьера, а количеством независимых барьеров, которые приходится преодолеть потенциально опасному пользователю. Если один из них становится ниже, система меняется.

Безответственные – это не про ИИ

Самая удобная позиция – объявить виноватым искусственный интеллект. Это позволяет всем остальным снять с себя ответственность. Разработчик говорит: мы создали универсальный инструмент. Пользователь: я просто задал вопрос. Ученый: информация давно опубликована. Регулятор: существующие правила не рассчитаны на такие модели.

Но если каждый отвечает только за свой участок, то кто отвечает за результат всей системы? Здесь и появляется настоящая проблема.

ИИ не устанавливает правила его применения. Это делают люди и институты. Компания заинтересована в скорости разработки. Пользователь – в доступности инструмента. Ученый – в более мощных средствах работы с информацией. Государство – в технологическом развитии. Регулятор – в контроле рисков.

Все эти стимулы рациональны по отдельности. Но их сумма может оказаться опасной, если защитные механизмы развиваются медленнее самой технологии. Именно это и следует называть безответственностью: не существование мощной технологии, а неспособность вовремя перестроить институты вокруг нее.

Что будет, если старые правила останутся в прошлом

Конвенция о запрещении биологического и токсинного оружия была создана в мире, где опасные биологические технологии требовали сложной инфраструктуры, специализированных материалов и профессиональных коллективов. Теперь появляется дополнительный фактор – универсальный интеллектуальный посредник, способный быстро синтезировать и объяснять знания.

И здесь возникает институциональная проблема. Физический объект можно изъять. Лабораторию можно закрыть. Оборудование можно контролировать. Поставку материала можно остановить. Но как контролировать знания?

Парадокс ИИ, дефляция и логика Маска: кому достанется результат технологического роста

Если научная информация опубликована, удалить ее из мира практически невозможно. Поэтому попытка просто запретить «опасные знания» обречена. Контролировать нужно не существование информации вообще, а сочетание факторов, которое превращает информацию в практически применимый ресурс.

Если риск возникает из-за соединения доступного знания, интеллектуального посредника и физической возможности реализации, защитные меры должны разрывать эту цепочку хотя бы в одном звене.

Отсюда следуют вполне рациональные направления: ограничения на опасные сценарии использования моделей, проверка подозрительных запросов, контроль специфического оборудования и материалов, механизмы проверки при коммерческом синтезе ДНК.

Не потому, что каждый пользователь потенциально опасен. А потому, что защита от редкого, но крайне тяжелого сценария строится на предотвращении сочетания нескольких факторов.

Именно поэтому публикация Anthropic имеет значение. Она показывает направление применения технологии, которое уже пришлось учитывать самим разработчикам ИИ.

Главная ошибка – ждать катастрофы

Самая странная реакция на подобные предупреждения выглядит так: «но ведь ничего страшного пока не произошло». Это переворачивает саму логику профилактической безопасности. Смысл контроля опасных технологий именно в том, чтобы не ждать момента, когда система докажет свою уязвимость реальной катастрофой.

В случае ИИ и биотехнологий механизм риска выглядит достаточно понятно: сложная область знания → интеллектуальный посредник → снижение когнитивного барьера → сохранение физических барьеров → потенциальное соединение доступного знания с возможностью его реализации.

Это не прогноз катастрофы. Это описание цепочки, которую имеет смысл разрывать заранее.

Именно потому вопрос ближайших десятилетий заключается не в том, сможет ли ИИ стать умнее человека. Гораздо важнее другое: сможет ли человечество создать систему безопасности быстрее, чем ИИ снизит стоимость доступа к сложным технологиям.

Запретить знания невозможно. Вернуть их в бутылку – тоже. Можно только сделать так, чтобы снижение интеллектуального барьера не сопровождалось одновременным снижением всех остальных.

В этом смысле слова «тупые и безответственные» относятся не к машинам. Они относятся к ситуации, в которой люди видят изменение технологии, понимают, какой барьер она способна снизить, но продолжают использовать правила, рассчитанные на прежний мир.

Самая опасная ошибка не в появлении слишком умной машины. Самое опасное – создать новую возможность и продолжать вести себя так, будто старых ограничений никто не отменял.

Автор – директор по стратегии ИК «Финам»