Tutorial Install Apache Kafka di Linux

Sebelum memulai instalasi, pastikan Anda memiliki:

1. Sistem Operasi Linux - Panduan ini dapat diterapkan pada berbagai distribusi Linux seperti Ubuntu, CentOS, atau Debian.
2. Java Development Kit (JDK) - Kafka membutuhkan JDK 8 atau yang lebih baru. Pastikan JDK sudah terinstal di sistem Anda.

Langkah 1: Memperbarui Sistem

Sebelum memulai instalasi, perbarui sistem Anda untuk memastikan Anda memiliki versi perangkat lunak terbaru:

sudo apt-get update
sudo apt-get upgrade

Langkah 2: Menginstal Java

Jika JDK belum terinstal, Anda dapat menginstalnya menggunakan perintah berikut. Untuk Ubuntu, gunakan:

sudo apt-get install openjdk-11-jdk

Verifikasi instalasi dengan:

java -version

Langkah 3: Mengunduh dan Menginstal Apache Kafka

1. Unduh Apache Kafka:

   Kunjungi situs web Apache Kafka di https://kafka.apache.org/downloads dan pilih versi terbaru yang stabil. Unduh file tar.gz menggunakan wget atau curl. Sebagai contoh:

   wget https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz
   

2. Ekstrak File:

   Ekstrak file yang diunduh menggunakan perintah tar:

   tar -xzf kafka_2.13-3.4.0.tgz
   

3. Pindahkan Direktori Kafka:

   Pindahkan direktori Kafka ke lokasi yang diinginkan. Misalnya:

   sudo mv kafka_2.13-3.4.0 /usr/local/kafka
   

Langkah 4: Konfigurasi Kafka

1. Menyiapkan Zookeeper:

   Kafka memerlukan Zookeeper untuk koordinasi. Kafka sudah dilengkapi dengan konfigurasi Zookeeper bawaan. Jalankan Zookeeper menggunakan perintah:

   /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
   

2. Menjalankan Kafka:

   Buka terminal lain dan jalankan Kafka broker:

   /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
   

Langkah 5: Verifikasi Instalasi

Untuk memastikan Kafka berfungsi dengan baik, Anda dapat membuat topik dan mengirim beberapa pesan:

1. Membuat Topik:

   /usr/local/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
   

2. Mengirim Pesan:

   /usr/local/kafka/bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
   

   Ketikkan beberapa pesan dan tekan Enter.

3. Membaca Pesan:

   Di terminal lain, jalankan perintah berikut untuk membaca pesan:

   /usr/local/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
   

Langkah 6: Mengatur Kafka sebagai Layanan

Untuk memastikan Kafka dimulai secara otomatis saat sistem boot, Anda dapat mengatur Kafka sebagai layanan menggunakan systemd. Buat file unit systemd untuk Kafka:

1. Buat File Unit Kafka:

   sudo nano /etc/systemd/system/kafka.service
   

2. Isi File dengan Konfigurasi:

   [Unit]
   Description=Apache Kafka server
   Documentation=http://kafka.apache.org
   After=network.target
   [Service]
   Type=simple
   User=kafka
   Group=kafka
   ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
   ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
   Restart=on-failure
   RestartSec=10
   [Install]
   WantedBy=multi-user.target

3. Aktifkan dan Mulai Kafka:

   sudo systemctl daemon-reload
   sudo systemctl enable kafka
   sudo systemctl start kafka

Kesimpulan

Dengan mengikuti langkah-langkah di atas, Anda telah berhasil menginstal dan mengonfigurasi Apache Kafka di sistem Linux Anda. Kafka kini siap digunakan untuk menangani aliran data real-time dan mendukung berbagai aplikasi streaming. Jika Anda menghadapi masalah atau membutuhkan penyesuaian lebih lanjut, jangan ragu untuk merujuk ke dokumentasi resmi Kafka untuk informasi lebih mendalam.