Разделение инференса LLM: как Kubernetes адаптируют под специфику стадий prefill и decode
Переход от монолитного инференса к разделению стадий prefill и decode позволяет оптимизировать использование GPU, но требует сложной оркестрации в Kubernetes.
-
-
Глава Nvidia Дженсен Хуанг: ИИ заменит неквалифицированный труд и создаст новые ниши на рынке
Глава Nvidia считает, что ИИ не вызовет мгновенной безработицы, но радикально изменит структуру рынка, создав спрос на обслуживание и кастомизацию роботов.
-
Nvidia представила технологию KVTC с 20-кратным сжатием памяти для открытых LLM
Nvidia представила метод KVTC, позволяющий радикально снизить требования к видеопамяти для работы языковых моделей без изменения их весов.
-
Доминирование Nvidia на рынке обучения ИИ не гарантирует успех в эру инференса
Индустрия ИИ переходит от обучения моделей к инференсу, что ставит под угрозу монополию Nvidia и требует новых архитектурных решений.
-
NVIDIA адаптирует тяжелые нейросети для работы на периферийных устройствах
NVIDIA представила обновление TensorRT Edge-LLM, внедряющее поддержку архитектур MoE и гибридных моделей для запуска продвинутого ИИ на чипах Jetson и DRIVE Thor.
-
Эпоха аномально дешевых токенов для доступа к LLM может закончиться уже скоро
Эпоха низких цен на использование ИИ-моделей подходит к концу. Лаборатории готовятся к IPO, что заставит их отказаться от субсидирования тарифов и перейти к прибыльности.
-
Thinking Machines Lab совместно с Nvidia разворачивает вычислительные мощности на 1 ГВт
NVIDIA инвестирует в стартап бывших топ-менеджеров OpenAI для создания гигантского дата-центра на базе архитектуры Vera Rubin.
-
OpenAI получила еще $110 млрд финансирования, оценка компании выросла до $840 млрд
OpenAI завершила один из крупнейших раундов финансирования в истории технологий. Инвестиции пойдут на развитие вычислительных мощностей и партнёрство с AWS, усиливая зависимость индустрии ИИ от капиталоёмкой инфраструктуры.
-
Nvidia нарастила прибыль на 75% благодаря недорогим, но давно устаревшим чипам A100
Старые GPU Nvidia остаются востребованными благодаря глубокой привязке индустрии к CUDA. Программная экосистема снижает стимулы перехода на альтернативы, однако рост инференса и собственные чипы гиперскейлеров могут стать долгосрочным вызовом для компании.
-
Открытый стандарт RISC-V может стать темной лошадкой в гонке ИИ-чипов
Открытая архитектура RISC-V бросает вызов проприетарным стандартам Intel и Arm в гонке AI-чипов. Геополитическая нейтральность и поддержка гигантов вроде Nvidia делают её главным претендентом на смену парадигмы.
