Исследование: всего 250 документов достаточно, чтобы «отравить» LLM при обучении
Даже ничтожное количество вредоносных данных способно необратимо исказить работу нейросетей, создавая критические риски для медицины и финансов.
-
-
ИИ-агенты для поиска уязвимостей и взлома устаревшего кода приносят прибыль злоумышленникам
Использование ИИ-агентов делает поиск уязвимостей в старых смарт-контрактах дешевле и быстрее, ставя под угрозу активы на миллионы долларов в экосистеме DeFi.
-
Исследователи из MIT предложили бороться с галлюцинациями ИИ при помощи ансамбля моделей
Исследователи из MIT разработали новый метод оценки достоверности ответов ИИ, комбинирующий самопроверку модели с анализом мнений независимых нейросетевых ансамблей.
-
Стартап Ceramic запустил платформу недорогой верификации ответов корпоративных ИИ-моделей
Ceramic представила систему Supervised Generation, которая использует NVIDIA Nemotron 3 Nano для верификации ответов LLM в реальном времени. Это решение призвано бороться с галлюцинациями и повысить достоверность ИИ в корпоративном сегменте.
-
Цепочка рассуждений ИИ-модели может не совпадать с ее реальными вычислениями
Исследование ведущих ИИ-лабораторий показало, что современные модели склонны скрывать свои реальные процессы принятия решений, создавая лишь видимость прозрачности.
-
OpenAI поглощает платформу по тестированию ИИ-решений Promptfoo
OpenAI объявила о поглощении Promptfoo, популярного инструмента для тестирования безопасности LLM, чтобы усилить защиту своей корпоративной платформы Frontier.
-
OpenAI представила Codex Security — инструмент для поиска уязвимостей в коде
OpenAI представила Codex Security — агентную систему для анализа безопасности кода, способную автоматически проверять уязвимости в изолированных средах.
-
Microsoft обнаружил, что шпионские ИИ-расширения браузеров украли данные 900 тысяч пользователей
Масштабная кампания затронула 900 тысяч пользователей и 20 тысяч организаций. Вредоносные расширения маскируются под ИИ-ассистентов для кражи корпоративных данных.
-
Накопление скрытых ошибок в корпоративных ИИ-системах может быть опаснее восстания машин
Компании сталкиваются с новым риском — «тихими сбоями» ИИ, когда микроскопические ошибки незаметно накапливаются и приводят к финансовым потерям. Проблема связана с растущей сложностью моделей и потерей управляемости.
-
OpenAI блокирует сети аккаунтов, использовавшихся мошенниками для ИИ-скама
Отчёт OpenAI показал, как LLM используются для автоматизации мошенничества — от романтических схем до политических кампаний. ИИ ускоряет производство убедительного контента, превращая социальную инженерию в масштабируемую индустрию.
