DataRobot представила комплексную методику оценки производительности ИИ-агентов, выходящую за рамки традиционных метрик точности и охватывающую операционную эффективность и бизнес-ценность.
DataRobot интегрирует поисковый инструмент Aryn для создания агентных рабочих процессов, позволяющих автоматизировать сложные бизнес-задачи с семантическим поиском.
Исследование показало, что LLM-судьи часто ошибаются в оценке ответов, награждая уверенные, но неверные ответы, что искажает результаты тестирования на 10-20%.
Исследование выявило 23 универсальные конфигурации AI-агентов, которые показывают стабильно высокую производительность across различных датасетов, ускоряя запуск проектов на 75% при сокращении затрат на 80%.
DataRobot представила платформу для вывода AI-агентов из POC в продакшен. Пошаговый гайд по преодолению сложностей сборки, деплоя и governance составных агентных систем.