Инженерный подход к созданию исследовательских ИИ-агентов
Исследовательские агенты становятся одним из наиболее перспективных применений искусственного интеллекта. В отличие от людей, ограниченных памятью, скоростью чтения и временем, ИИ-ассистенты могут обрабатывать огромные объемы информации, мгновенно синтезировать выводы и масштабироваться практически без ограничений. По сообщению Hugging Face, именно поэтому исследовательские агенты превращаются в ключевой компонент более сложных рабочих процессов в сфере генерации контента, программирования и аналитики.
Проектирование для будущего
Создание агентной обвязки (agent harness) — это разработка программного слоя, который улучшает выполнение моделей через управление контекстом, вызов инструментов, контроль циклов, оркестрацию и обработку ошибок. Однако построение приложений на быстро развивающихся моделях представляет собой современную инженерную задачу.
Семь месяцев назад команде Tavily пришлось полностью перестроить систему глубокого исследования с нуля. Первоначальная архитектура была сложной и изощренной, но ее допущения превратились в узкие места с появлением нового поколения моделей.
Типичная история разработки ИИ-систем: сначала создаешь сложное архитектурное решение, которое кажется гениальным, а потом понимаешь, что модели развились настолько, что твои изыски стали им только мешать. Простота и адаптивность оказываются важнее хитроумных оптимизаций.
Контекстная инженерия — искусство кураторства
Длительные исследовательские задачи выявляют фундаментальную проблему в современном дизайне агентов: поддержание чистого и оптимизированного контекстного окна с течением времени. Если инженер не уделяет внимания курированию контекста, агент обречен на провал.
Контекстно-управляемое веб-извлечение
Использование расширенного поиска Tavily становится естественным первым шагом в преодолении этой проблемы. Система абстрагирует обработку сырого веб-контента и возвращает только наиболее релевантные фрагменты из каждого источника.
Ключевые преимущества такого подхода:
- Агент получает только свежую информацию
- Система распознает сужение информационного охвата и побуждает агента исследовать неохваченные релевантные домены
- Обеспечивается эффективная атрибуция источников на этапе генерации
Моделирование взаимодействия человека с вебом
Люди исследуют информацию неструктурированным итеративным способом: определяют задачу, собирают данные, извлекают ключевые идеи, сохраняют их в кратковременной памяти и используют для определения следующих действий.
Глубокие исследовательские агенты должны работать аналогично: выходные данные инструментов дистиллируются в рефлексии, и только набор прошлых рефлексий используется как контекст для вызова инструментов. Сырая информация становится контекстом только на этапе подготовки финального результата, чтобы избежать потерь информации.
Эффективность вместо избыточности
Этот подход отличается от традиционного структурирования контекста в архитектуре ReAct-агентов. Обычно вызовы инструментов и их выходные данные передаются через цикл вызова инструментов, причем ранее полученные токены сохраняются в контекстном окне на каждой последующей итерации.
Метод контекстной инженерии Tavily устраняет это распространение токенов и может быть смоделирован линейной серией:
При сравнении двух подходов экономия токенов на одного агента составляет коэффициент m+12, что при экстраполяции на многозадачную систему дает значительное повышение эффективности.
Практические принципы разработки
Для создания агентов, которые улучшаются со временем, команда сформулировала несколько руководящих принципов:
- Упрощение логики оркестрации и ориентация на автономность
- Внимательное отслеживание того, для чего оптимизируются модели и инструменты, и использование их развивающихся возможностей
- Фокус на контекстной инженерии
Самое ироничное в разработке ИИ-агентов то, что чем больше мы пытаемся их контролировать, тем хуже они работают. Иногда лучшая стратегия — дать им больше свободы и просто обеспечить качественные данные для принятия решений. Это напоминает воспитание детей, только с меньшими эмоциональными затратами.
За последние семь месяцев возможности моделей эволюционировали особенно в области вызова инструментов. Эта оптимизация позволила перейти от рабочих процессов к агентам. Будущие модели будут обучаться для решения текущих проблем разработчиков агентов.
Инструменты также должны развиваться для поддержки языковых моделей и широко распространенных агентных обвязок. Лучшие инструменты выполняют некоторую контекстную инженерию на своей стороне, абстрагируя ее от агента, и возвращают только наиболее релевантные данные вместо выгрузки больших объемов токенов в контекстное окно.
