OpenAI блокирует сети аккаунтов, использовавшихся мошенниками для ИИ-скама
Компания OpenAI опубликовала отчет о пресечении деятельности нескольких групп, использовавших нейросети для автоматизации мошеннических схем и проведения кампаний по дезинформации. Как сообщает Digital Watch Observatory, злоумышленники эксплуатировали возможности GPT-4 и других моделей для создания персонализированного контента в романтических аферах, фейковых юридических услугах и политических манипуляциях.
Разработчик заблокировал ряд аккаунтов, связанных с операциями разной степени изощренности. Технологический анализ показал, что ИИ использовался не как «мозг» операций, а как масштабируемый инструмент для генерации текста, имитирующего человеческое общение. Это позволило мошенникам кратно увеличить объем рассылок, сохраняя при этом видимость индивидуального подхода к каждой жертве.
Анатомия цифрового обмана: от «Date Bait» до лже-юристов
Одной из наиболее заметных выявленных сетей стала Operation Date Bait. Мошенники использовали чат-ботов для имитации романтического интереса, таргетируя молодых мужчин в Индонезии. После установления эмоционального контакта пользователей перенаправляли на фиктивные дейтинг-сервисы, где требовали оплату под различными предлогами. Использование ИИ позволило злоумышленникам поддерживать сотни диалогов одновременно без привлечения огромного штата операторов.
Параллельно была ликвидирована сеть Operation False Witness. Здесь злоумышленники действовали более прагматично: они выдавали себя за юристов, предлагая помощь в возврате средств, потерянных в других мошеннических схемах. ИИ генерировал убедительные юридические документы и письма, что помогало выманивать авансовые платежи у людей, уже находящихся в уязвимом положении.
Помимо прямого финансового мошенничества, модели OpenAI применялись в геополитических целях. В рамках кампании Operation Trolling Stone создавался контент, касающийся резонансных арестов и политических событий в Латинской Америке. Целью было создание иллюзии массовой поддержки определенных тезисов через тысячи комментариев и постов в социальных сетях на нескольких языках.
Индустрия ИИ-безопасности застряла в бесконечной игре «кошки-мышки», где вендоры рапортуют об успехах, блокируя лишь самые топорные попытки фрода. Пока OpenAI фокусируется на фильтрации промптов, злоумышленники успешно используют LLM как дешевую фабрику контента, обходящую стандартные спам-фильтры. Реальная проблема не в «злом ИИ», а в доступности инструментов для промышленного производства доверия. Без радикального изменения архитектуры верификации контента мы обречены наблюдать, как нейросети окончательно превращают интернет в пространство тотальной симуляции.
Технологические барьеры и реальный охват
В OpenAI подчеркивают, что несмотря на участие нейросетей в создании контента, успех кампаний по-прежнему зависит от классических методов дистрибуции — охвата в соцсетях и наличия сетки «прокачанных» аккаунтов. ИИ упрощает производство, но не гарантирует виральность сам по себе. Компания обновила алгоритмы безопасности, чтобы системы чаще отклоняли запросы, нарушающие политику использования.
Тем не менее, отчет признает: далеко не весь подозрительный контент, атрибутируемый ИИ в медиа, на самом деле генерируется инструментами OpenAI. Рынок Open Source моделей позволяет злоумышленникам разворачивать локальные инстансы без каких-либо цензурных ограничений, что делает борьбу централизованных площадок с общим трендом на автоматизацию скама лишь частичным решением проблемы.
