Из-за использования свежих данных для обучения LLM, они могут выдававать пользователям вредоносный код
Исследователь безопасности Грег Дальман поднял в почтовой рассылке важный вопрос о том, как стремительное развитие больших языковых моделей (LLM) подрывает классические принципы ответственного разглашения данных. Как сообщает издание Let’s Data Science, привычные стандарты индустрии кибербезопасности сталкиваются с новой реальностью, где данные для обучения нейросетей собираются практически в режиме онлайн.
Основная претензия Дальмана касается того, что он называет «распространенным темным паттерном»: большинство поставщиков моделей по умолчанию включают данные обычных пользователей в обучающие выборки. В таких условиях традиционное ожидание исправления уязвимости в течение 90 дней кажется архаизмом, ведь за это время вредоносный код или конфиденциальный proof-of-concept (PoC) может быть поглощен моделью и выдан другому пользователю в качестве полезного совета.
Конфликт циклов обучения и безопасности
Проблема кроется в рассинхронизации темпов. Исследователь предложил радикально сократить «период эмбарго» на публикацию данных об уязвимостях до 14 дней. Это предложение продиктовано тем, что современные темпы сбора данных для дообучения моделей значительно опережают циклы выпуска патчей в традиционном программном обеспечении. Если информация о баге попадет в открытую рассылку, она почти мгновенно станет частью цифрового сознания следующей версии ИИ.
Дальман привел в пример Cursor, популярный ИИ-редактор кода, процитировав его документацию по безопасности. Выяснилось, что агент может читать файлы без подтверждения пользователя — это поведение заложено в архитектуру системы. Единственным способом ограничить доступ является файл .cursorignore, что ставит под вопрос конфиденциальность локальных проектов, если пользователь не проявил чрезмерную бдительность.
Индустрия ИИ элегантно переложила риски безопасности на плечи пользователей, маскируя отсутствие контроля удобством интерфейса. Мы восторгаемся скоростью генерации кода, игнорируя тот факт, что наши приватные алгоритмы завтра станут общественным достоянием в ответах Llama или GPT. Это стратегическая близорукость: строить будущее на данных, которые могут быть отравлены или украдены еще до того, как разработчик успеет нажать кнопку Save.
Экономика поиска багов
Технический контекст ситуации меняет и экономику поиска ошибок. Использование мощных локальных моделей, таких как Qwen3.6-35B-A3B на потребительском оборудовании, позволяет исследователям автоматизировать поиск паттернов уязвимостей с минимальными затратами. В то же время провайдеры проприетарных решений несут огромные расходы на токены и вычислительные мощности, что создает своеобразный дисбаланс сил между защитниками и атакующими.
Для профессионального сообщества эта дискуссия подчеркивает трение между старыми нормами и операционными реалиями агентских инструментов. Сейчас стоит внимательно следить за тем, как разработчики фреймворков вроде Cursor будут обновлять свои политики сбора данных. Возможно, нам придется привыкнуть к мысли, что в мире ИИ секретов больше не существует — есть только данные, которые еще не успели проиндексировать.
