Рассказ про exactly once в kafka

Транзакции в Kafta предназначены для работы с двумя очередями.
А что делать, если надо брать сообщение из очереди и обрабатывать, причем строго один раз. Об этом и поговорим.
Исходный код примеров:
github.com/pet...
Чат в телеге для вопросов и обсуждений:
t.me/jvm_home

[@miraclechina1301]

Одно непонятно что делать если у нас две разные базы данных для финансов и для бд с сохранением состояния Кафки тогда завернуть в транзакцию не получится и нужно будет табличку з записями про обработку данных из портиции тащить в базу з платежами.

[@petrelevich]

Т.е. надо консистентно вставить в две базы данных? Для этого надо использовать или распределенные транзакции или сагу.

[@bulanovdms]

Сергей, здравствуйте. Подскажите пожалуйста, какие преимущества использовать outbox подход вместо встроенных транзакций кафки (KIP-98)

[@petrelevich]

Я про это говорил в 9:18. Встроенные транзакции работают при перекладывании сообщения из топика в топик. Я рассматриваю ситуацию с одним топиком.

[@konstantinchvilyov9602]

Спасибо. Без базы данных нельзя обойтись?.. Это же потеря скорости.

[@petrelevich]

Можно обойтись, если не требуется гарантия exectly-once. Такая гарантия действительно редко нужна.

[@konstantinchvilyov9602]

@@petrelevich Странно, такая гарантия всегда была нужна на моих работах.

[@petrelevich]

@@konstantinchvilyov9602 Например, exectly-once точно не надо в логгировании, телеметрии, социальных сетях и т.е., когда что-то иногда можно потерять. И exectly-once почти всегда обязателен в платежах.

[@972gmailcom1]

Спасибо.
Посмотрел позже.
Было интересно и полезно.