PyTorch внедряет разреженный вывод для ускорения работы больших языковых моделей
PyTorch представляет фреймворк разреженного вывода для LLM, обещающий ускорение в 2-6 раз. Технология использует кэширование весов и новые методы порогового отсечения для современных моделей.
