Распределяй и властвуй — 2: Потоки данных наносят ответный удар

День 1 /  / Зал 1  /  RU / Введение в технологию

Виктор возвращается с продолжением доклада про обработку данных в памяти! На этот раз он противопоставит «потоковый» подход «пакетному». Как мы знаем, информации, зараза, много! Мало того, что её много, так ещё никто не хочет сидеть и ждать, пока Hadoop-кластер посчитает всё. Big Data уже не интересно, Fast Data — наше новое «всё»! Так что же делать, если новые данные всё прибывают и прибывают по каналам связи (через сокет-сервер ли или модную нынче Кафку) ежесекундно (а может, даже и быстрее)? Можно было бы складывать их в какое-нибудь хранилище и считать по ночам MapReduce-ом. Или всё-таки прибегнем к потоковой обработке? У каждого подхода есть свои преимущества и недостатки: как очевидные, так и те, что не всегда лежат на поверхности. После небольшого введения и обзора терминов Виктор на основе примеров кода покажет, как использовать Hazelcast Jet для распределенной обработки потоковых данных.

Виктор Гамов
Hazelcast

Виктор Гамов — со-основатель и лидер любимого многими программистами правильного подкаста «Разбор Полётов». По совместительству является Senior Solution Architect в компании Hazelcast — лидере в разработке in-memory решений с открытым исходным кодом. Накопил большой опыт, участвуя во множестве Java/JavaScript/HTML5 проектов. Помогает клиентам финансового и телекоммуникационного сектора в проектировании и разработке высоконагруженных систем. Соавтор книги «Enterprise Web Development» издательства O’Reilly.

В свободное от работы время Виктор не забывает про качалку и бицуху, а также выступает на международных конференциях, пишет в твиттер как @gamussa и организует встречи Princeton JUG и NYC Hazelcast User Group.

Наши контакты