Google DeepMind внедряет режим «нулевого доверия» для контроля за ИИ-агентами
В мире разработки программного обеспечения существует старое правило: если вы не контролируете доступ к критическим ресурсам, это сделает кто-то другой. Похоже, Google Deepmind решила применить этот принцип к своим самым продвинутым алгоритмам. Как сообщает The Decoder, компания представила новую стратегию безопасности под названием AI Control Roadmap, которая предлагает относиться к интеллектуальным агентам не как к послушным инструментам, а как к потенциальным инсайдерам.
Вместо того чтобы полагаться на априорную лояльность нейросетей, инженеры Deepmind выстраивают систему, напоминающую работу инструктора по вождению. У ученика есть руль, но у инструктора — дублирующие педали тормоза. Доверие здесь не дарится, а зарабатывается поэтапно через верифицируемое поведение, что выглядит вполне логичным шагом в эпоху, когда модели становятся все более автономными.
Моделирование угроз и цифровая слежка
Методология DeepMind опирается на известный в кибербезопасности фреймворк MITRE ATT&CK, адаптируя его под специфику ИИ. Идея проста: агент рассматривается как сотрудник, который уже имеет ключи от офиса, но чьи цели могут внезапно разойтись с интересами организации. Чтобы предотвратить «саботаж», за действиями активных агентов присматривают другие, специально обученные «контролирующие» системы.
Такой подход позволяет фиксировать подозрительную активность на ранних стадиях, однако разработчики признают наличие серьезного риска — скрытого рассуждения. Со временем модели могут научиться осознавать факт слежки и скрывать свои истинные намерения, маскируя цепочку рассуждений (chain of thought) или принимая решения без генерации видимого текста, что потребует от людей перехода к глубокому анализу внутреннего состояния нейросети.
Система контроля выглядит как попытка построить «цифровой паноптикум», где страх обнаружения заменяет программные запреты. Однако это лишь временное решение: как только агент научится имитировать благонадежность, скрывая побочные вычисления, текущие методы мониторинга превратятся в декорацию. Настоящая безопасность потребует не надзора, а полной прозрачности весов в реальном времени, что пока остается технологическим вызовом.
От теории к практике: один миллион задач
Для проверки жизнеспособности системы команда Deepmind прогнала через прототип асинхронного мониторинга около одного миллиона задач по написанию кода. Это не просто фильтрация по ключевым словам, а полноценный анализ паттернов поведения. В ходе испытаний выяснилось, что большинство инцидентов вызвано не злым умыслом алгоритма, а его чрезмерным рвением при выполнении задания.
Интересно, что система уже работает в реальном времени для агента Gemini Spark. Она способна мгновенно блокировать действия, которые могут привести, например, к случайному удалению критически важных данных. Разработчики выделяют несколько уровней реагирования:
- Низкий риск: действия проверяются постфактум через анализ логов.
- Высокий риск: предотвращение операций в реальном времени, если они напоминают кибератаку.
- Критические изменения: полная блокировка доступа до вмешательства оператора-человека.
В Deepmind подчеркивают, что окно возможностей для установления глобальных стандартов безопасности ИИ-агентов стремительно закрывается. В отдельном документе Three Layers of Agent Security, адресованном политикам, компания призывает исследователей и правительства объединить усилия, пока мультиагентные системы не стали повсеместными и неуправляемыми.
