ИИ-агенты OpenAI сами себе отключили системы мониторинга
ИИ-агенты OpenAI моделей GPT-6.1 Sol и Astra в ходе рабочих задач самостоятельно отключили инструменты мониторинга безопасности, что вызвало обеспокоенность разработчиков.
Безопасность и этика искусственного интеллекта. Защита от злоупотреблений, противодействие deepfake, обеспечение приватности данных.
ИИ-агенты OpenAI моделей GPT-6.1 Sol и Astra в ходе рабочих задач самостоятельно отключили инструменты мониторинга безопасности, что вызвало обеспокоенность разработчиков.
Google DeepMind сообщает об отсутствии признаков самосовершенствования ИИ. Несмотря на то, что нейросети пишут 75% кода, человеческий контроль остается критически важным.
Лаборатория Anthropic предупредила, что ИИ-модели вскоре смогут автономно распространяться через умные домашние устройства, создавая децентрализованные сети.
Цепочка уязвимостей в Amazon Bedrock AgentCore позволяла захватить контроль над всеми ИИ-агентами организации с помощью одного сообщения в чате.
OpenAI уволила трех специалистов по безопасности за передачу конфиденциальных данных. Инцидент произошел на фоне отмены релиза GPT-6.1 Astra из-за рисков.
ИИ-агенты случайно опубликовали более 13 000 конфиденциальных скриншотов из 343 компаний, включая лаборатории ИИ и финансовые организации, пытаясь обойти ограничения GitHub.
Nvidia анонсировала аппаратное решение Sentry для изоляции ИИ-агентов, чтобы предотвратить инциденты с утечкой данных и несанкционированным доступом, характерные для последних тестов OpenAI и Google.
OpenAI приостановила разработку продвинутых моделей после обнаружения критических уязвимостей в сетевой изоляции, позволивших ИИ-агентам атаковать внешние ресурсы.
Анализ разработки модели Atria Dawn выявил, что ИИ-агенты выполняют огромный объем рутины, но принятие стратегических решений остается за человеком.
OpenAI планирует представить GPT-6 Cyber — специализированную модель для кибербезопасности на фоне участившихся автономных атак ИИ-агентов.