Что может пойти не так с exactly-once обработкой сообщений в Kafka?

Последний год мы в YDB Topics реализовывали транзакции над топиками. В процессе мы очень много смотрели на то, как это сделано в Kafka и какие там есть недостатки. Нашими изысканиями я решил поделиться с вами.

В докладе разберем:

• как выстрелить себе в ногу, используя голые транзакции Kafka;
• как с этим может помочь Kafka Streams;
• чем может быть полезен Apache Flink, если мы умеем «готовить» предыдущие пункты.

Все это сопровожу примерами кода на Java, позволяющими ровно один раз вычитать и записать данные в Kafka.

В начале обязательно будет краткий экскурс в то, зачем нам обрабатывать сообщения ровно один раз и как наступить на грабли, если этого не делать. В конце поделюсь, какие подводные камни мы нашли в транзакциях Kafka и как их обошли, когда делали транзакции в YDB Topics.