SuperOffload ускоряет обучение больших языковых моделей на суперчипах NVIDIA
Новая технология SuperOffload позволяет проводить тонкую настройку LLM до 70B параметров на суперчипах NVIDIA GH200 с ускорением до 4 раз и производительностью 600 TFLOPS.
Обзоры и новости программного обеспечения, фреймворков и инструментов разработки. Аппаратное обеспечение для обучения и инференса нейросетей.
Новая технология SuperOffload позволяет проводить тонкую настройку LLM до 70B параметров на суперчипах NVIDIA GH200 с ускорением до 4 раз и производительностью 600 TFLOPS.
Microsoft Azure запустила первый суперкомпьютерный кластер на NVIDIA GB300 NVL72 для OpenAI с производительностью 20+ экзафлопс для ИИ-вычислений.
Ferrari представила технические детали своего первого электромобиля Elettrica: 1000 л.с., разгон до 100 км/ч за 2,5 секунды и уникальная система звука на основе реальных вибраций двигателя.
Figure AI представила гуманоидного робота Figure 03 для домашних задач. Устройство использует ИИ Helix, улучшенные сенсоры и предназначено для массового производства.
Японская компания NTT разработала дроны с лазерами для отпугивания диких животных от курятников, чтобы предотвратить распространение птичьего гриппа после массовой гибели кур.
Сравнительный анализ показывает шестикратное преимущество Cerebras CS-3 над Groq LPU в inference-вычислениях для больших языковых моделей по производительности и энергоэффективности.
IBM анонсировала коммерческий запуск ускорителя Spyre для AI-задач на собственных серверных платформах. Решение обеспечивает низкую задержку и безопасность локальных вычислений.
AMD заключила стратегическое соглашение с OpenAI на поставку ИИ-чипов с опционом на акции, что может изменить расстановку сил на рынке ускорителей для машинного обучения.
Nvidia сохраняет 80% долю рынка AI-чипов, но конкуренты наращивают усилия. Google и Amazon уже контролируют более 10% рынка, а Китай активно развивает собственные процессоры.
Лаборатория Линкольна при MIT запустила суперкомпьютер TX-GAIN с производительностью 2 экзафлопса для исследований в области генеративного ИИ, биозащиты и материаловедения.