AMD и PyTorch организовали эффективное обучение MoE-моделей на 1024 AMD GPU с TorchTitan
AMD и Meta* достигли 96% эффективности масштабирования при обучении MoE-моделей на 1024 GPU с помощью TorchTitan и Primus-Turbo.
-
-
PyTorch представляет OpenReg — симулятор акселераторов для тестирования аппаратного обеспечения
PyTorch выпустила OpenReg — симулятор акселераторов для тестирования пользовательского аппаратного обеспечения с использованием механизма PrivateUse1 DispatchKey.
-
Как на практике используется алгоритм оптимизации Adam для обучения нейросетей
Глубокий анализ оптимизатора Adam — фундаментального алгоритма для обучения нейронных сетей, его технических особенностей и практического применения в современных ML-фреймворках.
-
PyTorch внедряет разреженный вывод для ускорения работы больших языковых моделей
PyTorch представляет фреймворк разреженного вывода для LLM, обещающий ускорение в 2-6 раз. Технология использует кэширование весов и новые методы порогового отсечения для современных моделей.
-
Helion — высокоуровневый DSL для создания производительных и портируемых ядер ML
PyTorch представил Helion — высокоуровневый DSL для создания оптимизированных ядер ML, который компилируется в код Triton и автоматически настраивает производительность для разных аппаратных архитектур.
-
PyTorch выпустила torchcomms — API для распределенных вычислений на сотни тысяч GPU
PyTorch представил torchcomms — новый API для распределенных вычислений, способный масштабироваться на сотни тысяч GPU. Включает бэкенд NCCLX, уже используемый Meta для обучения Llama3 и Llama4.
-
PyTorch и Lightning AI объединяют усилия для упрощения распределенного обучения
PyTorch и Lightning AI интегрируют фреймворк Monarch для упрощения распределенного обучения ML-моделей, предлагая интерактивную разработку прямо из блокнотов.
-
Фреймворк Ray присоединяется к PyTorch Foundation для создания единого стека распределенных вычислений ИИ
Распределенный фреймворк Ray официально присоединился к PyTorch Foundation, создавая единый стек технологий для масштабирования AI-приложений от обучения до инференса.
-
NVIDIA представляет интерфейс для подключения моделей PyTorch к молекулярным симуляциям
NVIDIA представляет ML-IAP-Kokkos интерфейс для интеграции PyTorch-моделей с пакетом молекулярной динамики LAMMPS, обеспечивая масштабируемые симуляции на GPU.
-
NVIDIA интегрирует Python в CUDA для ускорения разработки на PyTorch
NVIDIA интегрировала Python в платформу CUDA, усиливая экосистему PyTorch. PyTorch скачивается более 2 млн раз в день, а компания предоставляет 1000+ открытых инструментов для разработчиков ИИ.
