Старый серверный чип NVIDIA Tesla V100 удивляет в тестах на инференсе LLM
Энтузиасты адаптировали серверную NVIDIA Tesla V100 для домашнего ПК, достигнув скорости в 130 токенов в секунду, что выше показателей современных RTX 3060.
-
-
OpenAI и техногиганты представили MRC — новый сетевой стандарт для масштабирования ИИ
OpenAI вместе с лидерами ИТ-индустрии представила протокол MRC, который позволяет объединять более 100 000 GPU и мгновенно восстанавливать связь при сбоях.
-
NVIDIA Nemotron 3 Super возглавила рейтинг открытых ИИ-моделей, обойдя DeepSeek и GPT-OSS
Открытая модель NVIDIA Nemotron 3 Super со 120 млрд параметров возглавила бенчмарк EnterpriseOps-Gym, продемонстрировав мощь программного стека компании.
-
OpenAI привлекла $122 миллиарда, оценка компании выросла до $852 миллиардов
Компания OpenAI привлекла 122 миллиарда долларов инвестиций, что подняло её оценку до 852 миллиардов. Средства пойдут на развитие инфраструктуры и новое суперприложение.
-
Mistral AI инвестирует в 13 800 GPU для открытых моделей в европейских дата-центрах
Французская компания Mistral AI привлекла долговое финансирование в размере 830 миллионов долларов для развертывания мощного дата-центра под Парижем.
-
Huawei готовит ответ Nvidia: ByteDance и Alibaba уже тестируют новый чип 950PR
Huawei подготовила новый чип 950PR, который успешно прошел тесты у ByteDance и Alibaba благодаря совместимости с ПО от Nvidia.
-
Связанные с китайской армией вузы смогли закупить серверы с чипами Nvidia A100 в обход санкций
Четыре китайских университета, включая два с прямыми связями с Народно-освободительной армией Китая, смогли закупить серверное оборудование Super Micro с высокопроизводительными графическими процессорами Nvidia A100, несмотря на жесткие экспортные ограничения США. Американские власти опасаются, что эти технологии могут быть использованы для совершенствования систем вооружения.
-
Разделение инференса LLM: как Kubernetes адаптируют под специфику стадий prefill и decode
Переход от монолитного инференса к разделению стадий prefill и decode позволяет оптимизировать использование GPU, но требует сложной оркестрации в Kubernetes.
-
Глава Nvidia Дженсен Хуанг: ИИ заменит неквалифицированный труд и создаст новые ниши на рынке
Глава Nvidia считает, что ИИ не вызовет мгновенной безработицы, но радикально изменит структуру рынка, создав спрос на обслуживание и кастомизацию роботов.
-
Nvidia представила технологию KVTC с 20-кратным сжатием памяти для открытых LLM
Nvidia представила метод KVTC, позволяющий радикально снизить требования к видеопамяти для работы языковых моделей без изменения их весов.
