Легковесный. Распределенный. Масштабируемый. Таск-процессор на Java

Многие стандартные фреймворки для распределенного таск-процессинга преследуют задачу быть «универсальными» — с одной стороны, это плюс. С другой стороны, это приводит к излишнему использованию внешних зависимостей и сложных конфигураций и не подходит, когда хочешь легковесное Java-only решение для повседневных задач: от запуска в кластере по расписанию до сложных задач стриминг-процессинга.

В докладе мы поговорим про наш путь — как мы в RuStore решили написать свое решение. Обсудим готовые фреймворки, которые мы рассматривали по пути. Посмотрим на основные проблемы, которые встречались во время эксплуатации нашего фреймворка, и расскажу, как мы их решали. Обсудим use cases использования. В конце напишем собственный workflow и запустим его.

Будет полезно разработчикам и архитекторам, строящим масштабируемую микросервисную архитектуру на Java, а также тем, кто стоит перед выбором простого фреймворка для распределенных вычислений в кластере.