SuperOffload ускоряет обучение больших языковых моделей на суперчипах NVIDIA
Новая технология SuperOffload позволяет проводить тонкую настройку LLM до 70B параметров на суперчипах NVIDIA GH200 с ускорением до 4 раз и производительностью 600 TFLOPS.
-
-
PyTorch представил квантованные модели и рецепты для Hugging Face Hub
PyTorch выпустил предварительно квантованные версии популярных языковых моделей с рецептами оптимизации для серверных GPU и мобильных устройств.
-
Миграция с PyTorch на JAX для GPU: стратегии внедрения в корпоративном машинном обучении
Практическое руководство по миграции с PyTorch на JAX для GPU-ускоренного машинного обучения: сравнение фреймворков, оптимизации памяти и стратегии масштабирования.
-
Методы оптимизации времени компиляции PyTorch 2 для крупных моделей Meta*
Meta* делится методами сокращения времени компиляции PyTorch 2.0 для крупных моделей рекомендательных систем, где компиляция могла занимать более часа.
-
PyTorch 2.8 повышает производительность LLM на процессорах Intel без сторонних фреймворков
PyTorch 2.8 представляет нативную поддержку высокопроизводительного квантованного вывода LLM на CPU Intel, конкурируя с vLLM без сторонних фреймворков.
-
Hugging Face представил технологию ZeroGPU для экономии ресурсов при работе с ИИ
Hugging Face анонсировал ZeroGPU — технологию для эффективного использования графических процессоров в машинном обучении, что может снизить costs вычислений.
-
PyTorch ускоряет вывод модели DRAMA в 2.3 раза с помощью NJT
PyTorch представил Nested Jagged Tensors, ускоряющие вывод модели DRAMA в 2.3 раза за счет исключения вычислений на pad-токенах.
-
DeepSpeed ZenFlow устраняет простои GPU при обучении больших языковых моделей
DeepSpeed ZenFlow решает проблему простоя GPU при оффлоадинге, обеспечивая до 5x ускорение обучения больших языковых моделей без потери точности.
-
Hugging Face представляет PTS: новый инструмент для эффективного обучения языковых моделей
Hugging Face выпустила PTS — унифицированный фреймворк для параметр-эффективного обучения языковых моделей, который стандартизирует процесс тонкой настройки и ускоряет эксперименты.
-
Hugging Face представила инструмент для автоматизации сборки ядер ML-библиотек
Hugging Face представила инструмент для автоматизации сборки низкоуровневых ядер ML-библиотек, упрощающий оптимизацию кода под различные аппаратные архитектуры.
