Cara Install dan Konfigurasi Kafka di Ubuntu 20.04

Apache Kafka adalah platform open source yang digunakan oleh ribuan perusahaan untuk pipeline data berperforma tinggi.

Kafka biasanya banyak digunakan untuk platform streaming oleh perusahaan-perusahaan besar karena memiliki integritas yang baik.

Install Apache Kafka di Ubuntu 20.04

Apache Kafka membutuhkan Java untuk menjalankannya jadi kita harus menyiapkan server kami dan menginstal semua prasyaratan yang ada.

1. Menyiapkan Server Ubuntu.

Perbarui server Ubuntu 20.04 baru Anda dan instal Java menggunakan perintah di bawah ini.

sudo apt update && sudo apt upgrade
sudo apt install default-jre wget git unzip -y
sudo apt install default-jdk -y

2. Install Kafka di ubuntu 20.04

Setelah Java terinstal dengan baik, sekarang mari kita ambil sumber Kafka. Buka Download an dan cari rilis Terbaru dan dapatkan sumbernya di bawah Unduhan biner. Klik salah satu yang direkomendasikan oleh Kafka dan Anda akan diarahkan ke halaman yang memiliki link yang dapat Anda gunakan untuk mengambilnya.

cd ~
wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz
sudo mkdir /usr/local/kafka-server && cd /usr/local/kafka-server
sudo tar -xvzf ~/kafka_2.13-2.6.0.tgz --strip 1

Isi arsip akan diekstraksi ke / usr / local / kafka-server / karena –strip 1 kumpulan tanda.

3. Membuat Kafka dan Zookeeper Systemd unit file.

File unit Systemd untuk Kafka dan Zookeeper akan sangat membantu dalam melakukan tindakan layanan umum seperti memulai, menghentikan, dan memulai ulang Kafka. Ini membuatnya beradaptasi dengan bagaimana layanan lain dimulai, dihentikan, dan dimulai kembali yang bermanfaat dan konsisten.

$ sudo vim /etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka-server/bin/zookeeper-server-start.sh /usr/local/kafka-server/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Kemudian untuk layanan Kafka. Pastikan konfigurasi JAVA_HOME Anda dimasukkan dengan baik atau Kafka tidak akan mulai.

$ sudo vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka-server/bin/kafka-server-start.sh /usr/local/kafka-server/config/server.properties
ExecStop=/usr/local/kafka-server/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Setelah Anda selesai menambahkan konfigurasi, muat ulang daemon systemd untuk menerapkan perubahan dan kemudian mulai layanan. Anda juga dapat memeriksa status mereka.

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka
sudo systemctl status kafka zookeeper

4. Install Cluster Manager untuk Kafka (Cmak)

CMAK (previously known as Kafka Manager)  adalah sebuah tool open source untuk me manage Apache kafka cluster yang di buat oleh yahoo.

cd ~
git clone https://github.com/yahoo/CMAK.git

5. Konfigurasi Cmak di Ubuntu 20.04

Konfigurasi minimum adalah host penjaga kebun binatang yang akan digunakan untuk status CMAK (manajer pka kafka). Ini dapat ditemukan di file application.conf di direktori conf. Ubah cmak.zkhosts = ”my.zookeeper.host.com:2181 ″ dan Anda juga dapat menentukan beberapa host zookeeper dengan membatasinya dengan koma, seperti ini: cmak.zkhosts =” my.zookeeper.host.com:2181,other.zookeeper .host.com: 2181 “. Nama host dapat berupa alamat ip juga.

$ vim ~/CMAK/conf/application.conf
cmak.zkhosts="localhost:2181

Setelah Anda selesai menambahkan host zookeeper Anda, perintah di bawah ini akan membuat file zip yang dapat digunakan untuk menyebarkan aplikasi. Anda akan melihat banyak output di terminal Anda saat file diunduh dan dikompilasi. Beri waktu untuk menyelesaikan dan menyusun karena butuh waktu.

cd ~/CMAK/
./sbt clean dist

Setelah semuanya selesai, Anda akan melihat pesan seperti di bawah ini:
[info] Your package is ready in /home/tech/CMAK/target/universal/cmak-3.0.0.5.zip

ubah ke direktori tempat file zip berada dan unzip:

$ cd ~/CMAK/target/universal
$ unzip cmak-3.0.0.5.zip
$ cd cmak-3.0.0.5

5. Uji Coba layanan

Setelah mengekstrak zipfile yang dihasilkan, dan mengubah direktori kerja seperti yang dilakukan pada Langkah 4, Anda dapat menjalankan layanan seperti ini:

$ cd ~/CMAK/target/universal/cmak-3.0.0.5
$ bin/cmak

Secara default, ini akan memilih port 9000, jadi buka browser favorit Anda dan arahkan ke http: // ip-or-domain-name-of-server: 9000. Jika firewall Anda berjalan, izinkan port untuk diakses secara eksternal.

sudo ufw allow 9000

Anda akan melihat antarmuka seperti yang ditunjukkan di bawah ini setelah semuanya selesai:

Anda akan segera melihat bahwa tidak ada cluster yang tersedia ketika kita pertama kali masuk ke antarmuka seperti yang ditunjukkan di atas. Oleh karena itu, kami akan melanjutkan untuk membuat cluster baru. Klik pada daftar drop-down “Cluster” dan kemudian pilih “Add Cluster”.

Anda akan disajikan dengan halaman seperti yang ditunjukkan di bawah ini. Isi formulir dengan detail yang diminta (Nama Cluster, Zookeeper Hosts dll). Jika Anda memiliki beberapa Zookeeper Host, tambahkan dengan dipisahkan koma. Anda dapat mengisi detail lainnya tergantung pada kebutuhan Anda.

Anda dapat mengikuti sesuai Petunjuk yang ada, jika Sudah klik save untuk menyimpan.

6. Menambahkan Contoh Topik

Apache Kafka menyediakan beberapa skrip shell untuk digunakan. Pertama-tama, mari kita buat contoh topik yang disebut “MintoTopic” dengan satu partisi dengan replika tunggal. Buka terminal baru dan biarkan CMAK berjalan dan berikan perintah di bawah ini:

cd /usr/local/kafka-server
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MintoTopic

Created topic MintoTopic.

Konfirmasikan apakah topik diperbarui di antarmuka CMAK. Untuk melakukan ini, saat berada di cluster Anda, Klik Topic> List

 

 

 

Leave a Comment

Your email address will not be published.