Kafka CDC – обработка данных в реальном времени

Дмитрий Румянцев, SRE-инженер в отделе «Центр Развития Архитектуры и Эксплуатации»
Доклад о переработке Legacy-приложения на микросервисы с потоковой обработкой данных, а также настройке стриминга данных в систему очередей Kafka.

Cодержание:
00:00 Приветствие
01:17 Кратко о проекте о масштабах продукта
01:59 Сервис версии 1.0
02:31 Проблемы версии 1.0
04:21 Цели
06:10 DEBEZIUM
07:28 KAFKA+KAFKA-connekt
09:32 Обработка данных: xstream-Fyfkju ckjjd d Pitgresql
10:51 Logminer
12:12 Проблема полей с названием 30+символов
13:12 Ставим триггер на измененения
13:51 Триггеры-Зло
15:23 TOPIC ROUTING
17:03 Работа с CLOB/BYTEA Полями
17:41 Сериализация данных
18:58 Какие объемы срабатывают?
19:50 Многопоточная обработка данных
24:44 Пиковая нагрузка
26:33 Перенос базы


Мы вКонтакте: https://vk.com/otr_2000