TensorRT Edge-LLM ускоряет работу ИИ-агентов на Jetson AGX Thor в 6,4 раза
Система TensorRT Edge-LLM показала рекордную скорость в тестах MLPerf, работая в 6,4 раза быстрее эталонных решений на архитектуре Blackwell.
Обзоры и новости программного обеспечения, фреймворков и инструментов разработки. Аппаратное обеспечение для обучения и инференса нейросетей.
Система TensorRT Edge-LLM показала рекордную скорость в тестах MLPerf, работая в 6,4 раза быстрее эталонных решений на архитектуре Blackwell.
Китайский облачный гигант представил гибридную архитектуру для ускорения ИИ-моделей, объединив классические GPU и нейроморфные процессоры для оптимизации DeepSeek V4 Flash.
Компании AWS и Qualcomm объявили о глубоком технологическом партнерстве: Qualcomm проектирует новые чипы для инференса, используя облачные ИИ-инструменты Amazon.
NVIDIA представила PAIR — инструмент с открытым кодом для распределения нагрузки ИИ-вычислений между устройствами в локальной сети без изменения кода приложений.
Компания Anthropic представила стандарт MHS, который позволяет ИИ-агентам напрямую управлять физическими устройствами, от роботов до микроскопов.
Собственный чип OpenAI под кодовым названием Jalapeño показал превосходство над решениями Nvidia в задачах исполнения нейросетей, обеспечивая кратный рост производительности на ватт.
Cerebras анонсировала систему CS-4, которая удваивает производительность предыдущего поколения, используя те же 5-нм чипы за счет инновационного охлаждения и питания.
Южнокорейская компания KT представила полностью локализованный серверный стек для ИИ, объединяющий NPU от Rebellions и собственную языковую модель для работы без доступа к облаку.
OpenAI заключила рекордную сделку на аренду дата-центра мощностью 8 ГВт в Огайо, которую финансово подстрахует Nvidia, создавая новый стандарт в индустрии ИИ.
Разработчик ИИ Anthropic заключил сделку на 10 миллиардов долларов с молодым облачным стартапом Volta для обеспечения доступа к мощностям в Норвегии.