ИИ в ревью кода: как перестать тюнить промпты и начать строить систему

Вы пробовали ИИ-ревьюеры? Скорее всего, они работают как линтеры на стероидах, заваливают вас комментариями вроде «удали unused import» либо просят переписать весь проект.

Мы запустили пилот на Qwen Coder, снабдили его подробной инструкцией и дали доступ к GitLab. Результат? Низкий CSAT (2.3 из 5), дубли, падения, вечные циклы, бесконечные токены и комментарии, которые никто не читал.

Тогда мы начали с нуля. На родной Java. На Spring AI. С оркестрацией, полуручным управлением контекстом и жесткими правилами. С тестами, бенчмарками и метриками.

Ключевые идеи:

• Нужен лимит на комментарии, и мы должны выбирать самые лучшие.
• Контекст задачи из Jira и сравнение его с diff'ом.
• Контроль каждого запроса в модель.
• Широкие возможности кастомизации под конкретный проект. 

Сегодня наш ИИ-ревьювер — полноценный участник код-ревью, который уважает время разработчика и помогает сделать MR лучше — без шума, без лжи, без спама. 

Расскажу: 

• Почему пилот с Qwen Coder провалился.
• Как мы перешли от промпт-хакинга к проектированию системы. 
• Как архитектура влияет на «интеллект» агента. 
• Как оцениваем качество комментариев (accept-rate, LLM-as-a-Judge, CSAT, benchmarks). 
• И почему (снова) лучше сделать свое, чем пытаться переделать чужое.