Гайд По Offset Explorer / Инструмент Для Работы С Apache Kafka

Разверни кластер облачных баз данных или Managed Kubernetes со 100% кешбэком в Selectel: https://slc.tl/m6ua0 (Реклама, АО «Селектел», erid:LjN8K5RRn)

Я в своей работе практически ежедневно взаимодействую с Kafka, поэтому решил поделиться опытом. Конкретно мы в команде используем графический интерфейс Offset Explorer (далее OE) о котором сегодня и пойдёт речь.

В этом материале мы вместе:
узнаем что такое Offset Explorer, зачем он нужен и как его установить
научимся подключаться как Kafka-кластеру через OE
познакомимся с интерфейсом OE
узнаем как создавать и просматривать топики
увидим как просматривать и отправлять сообщение в топики
научимся перечитывать топики кафки (редкий навык по моим наблюдениям)
познакомимся с инструментами импорта и экспорта
а также посмотрим на альтернативные варианты OE - AHKQ и Kafka-UI

Этот материал посвящен преимущественно Offset Explorer и его применению при работе с Kafka. Поэтому подразумевается, что читатель имеет хотя бы минимальное базовое понимание концепций Kafka :)

Я продемонстрирую на практике все то, что сам использую в повседневной работе. Материалов в Интернете про это немного (особенно на русском языке), поэтому начинающим специалистам пригодится в работе.

📒 Материалы из видео:
✅ Apache Kafka: обзор: https://habr.com/ru/companies/piter/a...
✅ Обзор UI-инструментов для мониторинга и управления кластерами Apache Kafka: https://habr.com/ru/companies/flant/a...
✅ Документация Offset Explorer: https://offsetexplorer.com/documentat...
✅ Introdaction in Apache Kafka: https://www.baeldung.com/apache-kafka
✅ Apache Kafka. Безопасность, мониторинг и управление кластером: https://habr.com/ru/companies/nsd/art...


🚀 Социальные сети:
✅ Telegram: https://t.me/pylounge
✅ Группа ВКонтакте: https://vk.com/pylounge
✅ Канал PyLounge: @pylounge
✅ Twitter: pylounge
✅ Instagram*: py_lounge
✅ По вопросам сотрудничества и предложений: [email protected]
✅ Music: Tea by Alex-Productions | https://onsound.eu/
Music promoted by https://www.free-stock-music.com
Creative Commons / Attribution 3.0 Unported License (CC BY 3.0)
https://creativecommons.org/licenses/...


👨‍🏫 Привет! Меня зовут Макс. Я один из авторов канала PyLounge. Уже долго занимаюсь программированием, в частности программирование на языке Python. Я много чего узнал за это время, и мне есть, чем поделиться со зрителями моего канала. Здесь выходят разнообразные ролики, касающиеся IT-тематики и программирования, которые я делаю в соавторстве с Егором (лучшим голосом России). Подписывайся, будем узнавать что-то новое и работать вместе! Погнали!

🕰️ Таймкоды:
00:00 - Вступление
02:40 - Реклама АО «Селектел»
04:22 - Скачивание и установка Offset Explorer
06:41 - Создание тестового Kafka-кластера
10:08 - Что такое и зачем нужен Offset Explorer
11:04 - Подключение к Kafka через Offset Explorer
17:36 - Основные элементы Offset Explorer
25:12 - Consumer Group
29:34 - Создание нового топика
31:40 - Добавление сообщений в топик
33:08 - Просмотр, фильтрация и сортировка сообщений
35:25 - Как перечитывать топики Kafka
40:26 - Импорт и экспорт
43:36 - Плагины
44:03 - Альтернативы OE - AKHQ и Kafkf UI
45:12 - Заключение
45:57 - Концовка

*Компания Meta - организация, деятельность которой запрещена на территории Российской Федерации

#pylounge #offsetexplorer #kafka #ityoutubers #itubeteam