Обзоры и новости программного обеспечения, фреймворков и инструментов разработки. Аппаратное обеспечение для обучения и инференса нейросетей.
Разработчики ANEMLL нашли элегантный математический трюк для реализации RMSNorm на Apple Neural Engine через существующий LayerNorm, решая проблему аппаратной совместимости современных моделей.
Intel представила мультимодальный агентный RAG-конвейер для локального запуска на ПК с процессорами Core Ultra. Технология объединяет обработку текста, изображений и видео без облачной зависимости.
Figure AI привлекла более $1 млрд на производство человекоподобных роботов и развитие ИИ-платформы Helix. Компания планирует выпустить 100 тысяч роботов за 4 года.
Nvidia представила специализированный ускоритель Rubin CPX для этапа префилла в AI-инференсе, что может закрепить ее лидерство и заставить конкурентов пересматривать стратегии.
Google Cloud анонсировала рецепт дезагрегированного инференса LLM с NVIDIA Dynamo на AI Hypercomputer, позволяющий значительно ускорить обработку запросов за счет разделения вычислительных фаз.
Google Cloud анонсировала коммерческую доступность GKE Inference Gateway с новыми функциями оптимизации производительности и стоимости ML-инференса.
Huawei сталкивается с критической нехваткой памяти HBM для производства AI-чипов, что может серьезно ограничить китайские амбиции в искусственном интеллекте.
Тесты MLPerf Inference v5.1 показывают до 15.4% прироста производительности LLM на системе NVIDIA HGX B200 от Lambda, что подтверждает готовность инфраструктуры для корпоративного внедрения.
Nvidia анонсировала Rubin CPX — первый специализированный GPU для обработки миллионов токенов контекста в ИИ-моделях с производительностью 30 петафлопс.
AWS анонсировала второе поколение AI-чипов Trainium2 и Inferentia2 с многократным ростом производительности для обучения и инференса моделей машинного обучения.