Исследование показало, что самообучение LLM неизбежно ведет к их коллапсу

В сообществе разработчиков долгое время доминировала вера в то, что большие языковые модели (LLM) способны к бесконечному самосовершенствованию через корректировку весов в векторном пространстве. Однако, как сообщает издание Hackaday, попытки заставить алгоритмы учиться на собственных данных приводят не к возникновению сверхразума, а к деградации системы, известной как модель коллапса.

Исследование, проведенное ученым Гектором Зенилом, математически обосновывает, почему обучение нейросетей на контенте, созданном другими нейросетями, является тупиковым путем. Вместо ожидаемой технологической сингулярности, когда ИИ превосходит человеческие возможности, мы рискуем получить статистическую сингулярность — состояние, в котором модель теряет связь с реальностью и замыкается в узком наборе повторяющихся паттернов.

Механика дегенеративной динамики

Современные LLM и диффузионные модели представляют собой сложные статистические аппроксимации входных данных. Когда внешнее, созданное человеком содержание заменяется синтетическим выходом самой модели, система начинает усреднять собственные ошибки. Этот процесс напоминает биологическое вырождение при близкородственном скрещивании: каждое новое поколение становится менее вариативным и более склонным к галлюцинациям.

Математическая модель Зенила наглядно демонстрирует, что при снижении притока внешних данных энтропия внутри системы начинает неуклонно расти. Без постоянного «заземления» в виде человеческого опыта и живого языка, статистическая модель теряет способность различать нюансы и переходит к упрощенным, шаблонным ответам, которые постепенно превращаются в бессмысленный информационный шум.

Без притока «сырых» данных из реального мира любая архитектура обречена на интеллектуальное упрощение. Похоже, путь к AGI лежит не через бесконечное масштабирование текущих алгоритмов, а через фундаментальный пересмотр того, как машина взаимодействует с реальностью, а не с её цифровым отражением.

Проблема «поддельного человечества»

Корень проблемы часто кроется в склонности пользователей проецировать признаки сознания на статистические алгоритмы. Когда модель выдает грамматически безупречный текст, возникает иллюзия понимания, хотя на деле происходит лишь предсказание следующего наиболее вероятного токена. Это явление превращает современные нейросети в своего рода «поддельных людей», чья убедительность играет против них самих в долгосрочной перспективе.

Для предотвращения коллапса разработчикам приходится внедрять строгие фильтры и механизмы отбора данных. Типичный процесс поддержания жизнеспособности модели сегодня выглядит так:

• Сбор массивов данных из открытых источников с обязательной очисткой от явного «мусора».
• Использование методов RLHF (обучение с подкреплением на основе отзывов людей) для корректировки поведения модели.
• Постоянный мониторинг дрейфа ответов, чтобы вовремя заметить признаки упрощения лексики или потери логических связей.

Несмотря на наличие предложенных механизмов противодействия энтропийному распаду, основной вывод исследователей остается неизменным: статистическая система не может эволюционировать без внешнего якоря. Человеческий фактор остается единственным надежным источником новизны, без которого даже самые продвинутые алгоритмы обречены на постепенное угасание в рамках собственной вероятностной логики.