Последний год мы в YDB Topics реализовывали транзакции над топиками. В процессе мы очень много смотрели на то, как это сделано в Kafka и какие там есть недостатки. Нашими изысканиями я решил поделиться с вами.

В докладе разберем:

как выстрелить себе в ногу, используя голые транзакции Kafka;
как с этим может помочь Kafka Streams;
чем может быть полезен Apache Flink, если мы умеем «готовить» предыдущие пункты.

Все это сопровожу примерами кода на Java, позволяющими ровно один раз вычитать и записать данные в Kafka.

В начале обязательно будет краткий экскурс в то, зачем нам обрабатывать сообщения ровно один раз и как наступить на грабли, если этого не делать. В конце поделюсь, какие подводные камни мы нашли в транзакциях Kafka и как их обошли, когда делали транзакции в YDB Topics.

What Can Go Wrong with Exactly-once Message Processing in Kafka?

Speakers

Andrey Serebryanskiy