Скачать или смотреть Как установить Apache Kafka на Ubuntu

Apache Kafka - популярный брокер распределенных сообщений, предназначенный для обработки больших объемов данных в режиме реального времени. Кластер Kafka обладает высокой масштабируемостью и отказоустойчивостью. Он также обладает гораздо более высокой пропускной способностью по сравнению с другими брокерами сообщений, такими как ActiveMQ и RabbitMQ. Хотя обычно он используется как система обмена сообщениями для публикации / подписки, многие организации также используют его для агрегирования журналов, поскольку он обеспечивает постоянное хранение опубликованных сообщений.

Система обмена сообщениями "публикация/подписка" позволяет одному или нескольким производителям публиковать сообщения без учета количества потребителей или того, как они будут обрабатывать сообщения. Подписанные клиенты автоматически получают уведомления об обновлениях и создании новых сообщений. Эта система более эффективна и масштабируема, чем системы, в которых клиенты периодически проводят опрос, чтобы определить, доступны ли новые сообщения.

В этом руководстве вы установите и настроите Apache Kafka 2.8.2 на Ubuntu 20.04.

Подготовка
Сервер Ubuntu 20.04 с объемом оперативной памяти не менее 4 ГБ
OpenJDK 11 установлен на вашем сервере

Используемые команды
sudo adduser kafka
sudo adduser kafka sudo
su -l kafka
mkdir ~/Downloads
curl "https://downloads.apache.org/kafka/2...." -o ~/Downloads/kafka.tgz
mkdir ~/kafka && cd ~/kafka
tar -xvzf ~/Downloads/kafka.tgz --strip 1
nano ~/kafka/config/server.properties
delete.topic.enable = true
log.dirs=/home/kafka/logs
sudo nano /etc/systemd/system/zookeeper.service

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

sudo nano /etc/systemd/system/kafka.service

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties /home/kafka/kafka/kafka.log 2&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

sudo systemctl start kafka
sudo systemctl status kafka
sudo systemctl enable zookeeper
sudo systemctl enable kafka

~/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TutorialTopic

echo "Hello, World" | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TutorialTopic /dev/null

~/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic TutorialTopic --from-beginning

Полезные ссылки
vps/vds - https://www.mivocloud.com/