Метод спекулятивного декодирования может ускорить инференс LLM на чипах AWS Trainium
Метод спекулятивного декодирования на чипах AWS Trainium позволяет сократить задержку генерации текста до 15 мс для структурированных задач.
-
-
Исследование показало, что навыки ИИ-агентов бесполезны в деле
Исследователи из MIT и UC Santa Barbara выяснили, что навыки ИИ-агентов, блестяще работающие в тестах, оказываются практически бесполезными в реальных сценариях.
-
Разработчики Qwen представили алгоритм FIPO, заставляющий нейросети рассуждать глубже и дольше
Разработчики из Alibaba представили алгоритм FIPO, который обучает нейросети глубокому рассуждению через систему взвешенных наград, заставляя их перепроверять свои решения.
-
Alibaba выпустила Qwen 3.6-Plus — новую флагманскую LLM для сложных запросов и кодинга
Alibaba представила Qwen 3.6-Plus — мощную LLM с контекстом в 1 млн токенов, оптимизированную для автономного написания кода и сложных бизнес-сценариев.
-
Alibaba выделяет ИИ-бизнес в отдельную структуру и делает ставку на агентов вместо чат-ботов
Alibaba Group меняет стратегию развития искусственного интеллекта, выделяя ИИ-бизнес в отдельную структуру и делая ставку на автономных агентов вместо чат-ботов.
-
Qwen обходит Llama: реальная статистика деплоя ИИ-моделей в облачной инфраструктуре
Данные из серверных логов Runpod показывают, что разработчики предпочитают модель Qwen от Alibaba Cloud, а рынок ИИ-видео сфокусирован на апскейлинге, а не на генерации.
-
NVIDIA адаптирует тяжелые нейросети для работы на периферийных устройствах
NVIDIA представила обновление TensorRT Edge-LLM, внедряющее поддержку архитектур MoE и гибридных моделей для запуска продвинутого ИИ на чипах Jetson и DRIVE Thor.
-
Intel расширяет поддержку моделей Qwen в стеке LLM-Scaler для графики Arc
Intel расширила возможности проекта LLM-Scaler, добавив поддержку моделей семейства Qwen3.5 и ASR-модели для распознавания речи. Обновление позволяет запускать современные нейросети на потребительских видеокартах Arc с использованием vLLM и Docker.
-
Alibaba реорганизует команду Qwen: кадровая турбулентность на фоне гонки за AGI
Alibaba Group меняет структуру управления ИИ-разработками после ухода ключевых архитекторов модели Qwen и усиливает маркетинговое давление на конкурентов.
-
Институт Аллена выпустил новую версию гибридной модели Olmo Hybrid 7B
Архитектура Olmo Hybrid демонстрирует двукратный прирост эффективности обучения, однако проблемы с открытым ПО и инференсом мешают массовому внедрению технологии.
