NVIDIA может обучать LLM без пауз при помощи NTP — неравномерного тензорного параллелизма
NVIDIA представила технологию NTP, позволяющую динамически менять степень тензорного параллелизма для предотвращения простоев при обучении больших языковых моделей.
