AI Assistants под капотом: Redis, Redis, Redis

В Yandex Cloud мы разрабатываем AI Assistants API — инструмент для создания AI-ассистентов. С точки зрения требований сервис интересен необходимостью соблюдать низкий оверхед при вызове генеративной модели. Во время разработки для минимизации задержки мы решили по минимуму заходить на диски за счет использования Redis.

В докладе разберем архитектуру решения, заменим SQS и Kafka на Redis. Наступим на несколько граблей с Redisson и срежем все усилия по минимизации задержки из-за нюансов деплоя.