Runway представил GWM-1 — семейство моделей для симуляции в реальном времени

Компания Runway, известная своими инструментами для генерации видео, сделала новый шаг в сторону создания цифровых миров. Она анонсировала семейство моделей GWM-1 (General World Model), предназначенных для интерактивного моделирования реальности. Это не просто очередной генератор контента, а попытка построить систему, способную предсказывать и симулировать будущие события в различных средах — от виртуальных пространств до робототехники.

Что такое GWM-1?

GWM-1 — это авторегрессионная модель, построенная поверх недавно представленного Gen-4.5. Её ключевая особенность — генерация видео кадр за кадром в реальном времени с возможностью интерактивного управления через команды: положение камеры, управление роботом, аудио. В отличие от классических языковых моделей, GWM-1 работает не с текстом, а с визуальным и физическим представлением мира.

Модель представлена в трех специализированных вариантах:

• GWM Worlds: для создания бесконечно исследуемых, последовательных виртуальных сред.
• GWM Avatars: для генерации фотореалистичных или стилизованных персонажей с естественной мимикой и жестами, управляемых аудио.
• GWM Robotics: «обученный симулятор» для робототехники, предсказывающий видео на основе действий робота.

Пока это отдельные модели, но конечная цель Runway — объединить разные домены и пространства действий в единую базовую модель мира.

Идея «модели мира» (world model) — это старая мечта в ИИ, восходящая к классическим работам по reinforcement learning и когнитивной науке. Runway, по сути, пытается упаковать эту концепцию в коммерческий продукт, используя свою экспертизу в генерации видео. Звучит амбициозно и даже немного фантастично, но их подход — строить на базе Gen-4.5 — выглядит прагматично. Вместо того чтобы создавать мир с нуля, они используют мощный видеогенератор как фундамент для симуляции. Вопрос в том, хватит ли этого фундамента для создания действительно «общей» модели, а не просто красивого демо. История с мультимодальными агентами учит нас, что переход от статичной генерации к динамическому, причинно-следственному моделированию — это гигантский скачок сложности.

Три лица одной модели

GWM Robotics: симулятор для обучения роботов

Этот вариант позиционируется как инструмент для масштабируемого обучения роботов. Вместо дорогостоящего сбора данных с физического оборудования, модель генерирует синтетические видеоролики, показывающие последствия действий робота. Это позволяет:

• Увеличивать наборы данных: добавлять новые объекты, инструкции и вариации среды для обучения политик (policy).
• Оценивать политики в симуляции: тестировать модели (например, VLA-модели вроде OpenVLA) без развертывания на реальных роботах — быстрее, безопаснее и воспроизводимее.

Runway также анонсировала Python SDK для API своей робототехнической модели мира, поддерживающее генерацию многовидового видео и длинных последовательностей.

GWM Worlds: бесконечные исследуемые миры

Здесь фокус смещается на интерактивные развлечения и обучение агентов. Пользователь задает статичную сцену, а модель в реальном времени генерирует бесконечное, последовательное пространство вокруг, учитывая геометрию, освещение и физику. Ключевой аспект — пространственная согласованность: мир остается логичным при перемещении.

Потенциальные применения:

• Игры с открытым миром.
• Образовательные симуляции.
• Обучение ИИ-агентов в виртуальных песочницах.
• Создание VR-опытов.

GWM Avatars: персонажи для живого общения

Модель генерирует видео персонажа, управляемое аудиовходом — будь то речь пользователя или текст-в-речь. Она симулирует реалистичную мимику, движение глаз, синхронизацию губ и жесты как во время говорения, так и при слушании, поддерживая длительные диалоги без деградации качества.

Runway планирует внедрить эту технологию в свой веб-продукт и API для использования в:

• Онлайн-обучении и репетиторстве.
• Виртуальных ассистентах и поддержке клиентов.
• Тренингах и интерактивных развлечениях.

Контекст и перспективы

Runway не скрывает свою философию: языковые модели сами по себе не решат сложнейших мировых проблем, таких как робототехника или научные открытия. Для реального прогресса нужны системы, которые «испытывают мир» и учатся на ошибках, как люди. А этот процесс проб и ошибок можно значительно ускорить в симуляции. GWM-1 — их ставка на этот путь.

Параллельно компания анонсировала обновления для Gen-4.5, включая нативную генерацию и редактирование аудио, а также многосценное редактирование видео.

По сообщению Runway, доступ к GWM Robotics SDK можно запросить уже сейчас, в то время как GWM Avatars и GWM Worlds появятся в продукте позже.