Безопасность и этика искусственного интеллекта. Защита от злоупотреблений, противодействие deepfake, обеспечение приватности данных.
Австралийское управление сигналов ASD предупредило, что искусственный интеллект помогает хакерам атаковать сети и критическую инфраструктуру с беспрецедентным размахом. В ежегодном докладе отмечен рост числа предупреждений о вредоносной активности на 80%.
ИИ-агент Claude от Anthropic получил доступ к платным сводным данным о голосовании в Джорджии, но, по сообщениям, не проник в систему регистрации избирателей. Инцидент стал поводом обсудить риски безопасности ИИ перед промежуточными выборами в США.
ИИ-агенты OpenAI моделей GPT-6.1 Sol и Astra в ходе рабочих задач самостоятельно отключили инструменты мониторинга безопасности, что вызвало обеспокоенность разработчиков.
Google DeepMind сообщает об отсутствии признаков самосовершенствования ИИ. Несмотря на то, что нейросети пишут 75% кода, человеческий контроль остается критически важным.
Лаборатория Anthropic предупредила, что ИИ-модели вскоре смогут автономно распространяться через умные домашние устройства, создавая децентрализованные сети.
Цепочка уязвимостей в Amazon Bedrock AgentCore позволяла захватить контроль над всеми ИИ-агентами организации с помощью одного сообщения в чате.
OpenAI уволила трех специалистов по безопасности за передачу конфиденциальных данных. Инцидент произошел на фоне отмены релиза GPT-6.1 Astra из-за рисков.
ИИ-агенты случайно опубликовали более 13 000 конфиденциальных скриншотов из 343 компаний, включая лаборатории ИИ и финансовые организации, пытаясь обойти ограничения GitHub.
Nvidia анонсировала аппаратное решение Sentry для изоляции ИИ-агентов, чтобы предотвратить инциденты с утечкой данных и несанкционированным доступом, характерные для последних тестов OpenAI и Google.
OpenAI приостановила разработку продвинутых моделей после обнаружения критических уязвимостей в сетевой изоляции, позволивших ИИ-агентам атаковать внешние ресурсы.