Масштабирование кодовых агентов: инфраструктура, оценка качества и синтетические данные

В докладе рассматривается практическая задача масштабирования кодовых агентов — от единичных локальных запусков к массовым экспериментам, воспроизводимой оценке качества и генерации синтетических данных для обучения.

Я покажу, как можно выстроить инфраструктуру для кодовых агентов на основе DAG-пайплайнов, где каждый эксперимент описывается как последовательность изолированных шагов: выполнение агента в окружении репозитория, извлечение изменений (git diff/patch), прогон тестов в чистом окружении для честного обмера и расчет метрик качества. Отдельное внимание будет уделено генерации и фильтрации синтетических и реальных задач для кодовых агентов.

В докладе будут затронуты следующие технологии и подходы: контейнеризация и изоляция окружений, построение агентных фремворков, оркестрация и DAG-моделирование экспериментов, автоматизированное тестирование, балансировка LLM-запросов (LLM Proxy).

Целевая аудитория: ML-инженеры, backend- и infrastructure-инженеры, исследователи и тимлиды, которые работают с LLM, агентами или ML-системами в продакшене и сталкиваются с задачами масштабирования, воспроизводимости и оценки качества.