Welcome to Spark

Участие в тренинге не входит в стоимость конференции.

Тот, у кого в руке молоток, во всём видит гвоздь — глупо? А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом, и зубной щёткой? В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут, и каждый заточен под что-то своё. А ещё недавно там появился Spark, который можно применять для любых целей.

Если вы хотите писать в Hadoop с различных СУБД, стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и SQL-запросов, а при помощи мощного функционального языка — добро пожаловать в Spark!

Данный тренинг познакомит вас с основными компонентами экосистемы Hadoop и раскроет перед вами возможности Spark-а. Вы узнаете, как он работает, какие задачи способен выполнять, как им правильно пользоваться. Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark-разработчики. Разберёмся с его синтаксисом и всякими хитростями, а главное, я покажу, как можно писать Spark на Java при помощи известных вам фрэймворков, инструментов и концепций. Inversion of Control, design patterns, Spring framework, Maven/Gradle, Junit никуда не уходят — наоборот, вы увидите, что они могут помочь сделать ваше Spark приложение более элегантным, читабельным и привычным. Будет много заданий, live coding-а, и в конечном итоге вы выйдете с этого тренинга с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e в привычном мире Java.

Программа

Введение в мир BigData

  • Data locality
  • Map reduce
  • Проблема старых имплементаций, новый подход
  • Импелементации Hadoop
  • Cloudera

Hadoop и его зоопарк инструментов

  • HDFS
  • HBase
  • YARN
  • Hue
  • Sqoop
  • Flume
  • Hive
  • Impala
  • Oozie

Теорминимум по Scala (не волнуйтесь, писать будем на Java!)

  • Singleton objects
  • Функциональное программирование
  • Анонимные параметры
  • Таплы
  • Matcher pattern

Освежаем знания по Spring (для работы со Spark)

  • Ознакомление со всеми модулями (Core, AOP, REST, MVC)
  • Когда надо писать свои BeanPostProcessor-ы
  • Как работать больше чем с одним контекстом
  • Как настраивать бины, если часть нужной им информации приходит через аргументы main-а

Writing Spark with Java

  • Ознакомление с основными модулями Spark
  • Как Spark работает в кластерном режиме
  • Spark Submit
  • Spark API
  • Scala vs Java
  • Использование Spring при роботе со Spark
  • Unit-test для Spark
  • От REST-сервиса к Spark-у (написание цельного приложения)

Дата проведения: 5 апреля 2017

Место проведения: офис компании КРОК.


Евгений Борисов, Naya Technologies

Евгений разрабатывает на Java с 2001 года и принял участие в большом количестве Enterprise-проектов. Пройдя путь от простого программиста до архитектора и устав от рутины, он вышел в свободные художники. Сегодня Женя пишет и проводит курсы, семинары и мастер-классы для различной аудитории: live-курсы по J2EE для офицеров израильской армии. Spring — по WebEx для румын, Hibernate через GoToMeeting для канадцев, Troubleshooting и Design Patterns для украинцев.

Наши контакты