Featured image for public ai teper dostupen kak provajder inferensa na hugging face

Public AI теперь доступен как провайдер инференса на Hugging Face

Отalexei

Как сообщает Hugging Face, некоммерческий проект Public AI официально присоединился к экосистеме провайдеров инференса на платформе. Это означает, что разработчики теперь могут использовать модели от государственных инициатив, таких как Swiss AI Initiative и AI Singapore, напрямую через Hugging Face Hub.

Что такое Public AI

Public AI Inference Utility — это некоммерческий opensource-проект, который поддерживает работу публичных AI-моделей. Инфраструктура построена на распределенной системе с vLLM-бэкендом и глобальным балансировщиком нагрузки, который маршрутизирует запросы между кластерами, предоставленными национальными и индустриальными партнерами.

Бесплатный доступ обеспечивается за счет донатов GPU-времени и рекламных субсидий, а долгосрочная стабильность планируется за счет государственных и институциональных взносов.

Как это работает

Пользователи могут работать с Public AI через веб-интерфейс или клиентские SDK. Доступно два режима:

  • С собственным API-клюем Public AI (биллинг идет напрямую у провайдера)
  • Через маршрутизацию Hugging Face (используется токен HF, списание идет с аккаунта HF)
Интерфейс пользовательских настроек для провайдеров инференса
Источник: huggingface.co
Виджет интерфейса провайдера инференса на странице модели
Источник: huggingface.co

Примеры кода

Для работы с Python требуется huggingface_hub >= 0.34.6:

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
 provider="publicai",
 api_key=os.environ["HF_TOKEN"],
)

messages = [
 {
 "role": "user",
 "content": "What is the capital of France?"
 }
]

completion = client.chat.completions.create(
 model="swiss-ai/Apertus-70B-Instruct-2509",
 messages=messages,
)

print(completion.choices[0].message)

JavaScript-версия через @huggingface/inference:

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
 model: "swiss-ai/Apertus-70B-Instruct-2509",
 messages: [
 {
 role: "user",
 content: "What is the capital of France?",
 },
 ],
 provider: "publicai",
});

console.log(chatCompletion.choices[0].message);

Биллинг и тарифы

На момент публикации использование Public AI через Hugging Face полностью бесплатно. Однако тарифы и доступность могут измениться.

Важно: PRO-пользователи получают ежемесячно $2 кредитов на инференс, которые можно использовать среди всех провайдеров.

Появление Public AI в экосистеме Hugging Face — интересный шаг к демократизации доступа к государственным AI-моделям. Однако долгосрочная устойчивость такой модели зависит от постоянного финансирования и донатов, что всегда вызывает вопросы о надежности бесплатных сервисов. Времена, когда GPU-время раздавали просто так, похоже, заканчиваются.

Полный список поддерживаемых моделей доступен по ссылке, а документация по использованию — на специальной странице.

Похожие записи