Exactly once в Kafka: как все сломать (и починить)

Последний год мы в YDB Topics реализовывали транзакции над топиками. В процессе мы очень много смотрели на то, как это сделано в Kafka и какие там есть недостатки. Нашими изысканиями я решил поделиться с вами.

В докладе разберем:

• как выстрелить себе в ногу, используя голые транзакции Kafka;
• что может сломаться само по себе в Kafka-транзакциях;
• как с этим могут помочь Kafka Streams и Apache Flink, что из них лучше для exactly once;
• как загрузить данные в Kafka или выгрузить из нее ровно один раз.

В начале обязательно будет краткий экскурс в то, зачем нам обрабатывать сообщения ровно один раз и как в целом работают транзакции в Kafka.