Mengetahui permasalahan ini, tim dari perusahaan LinkedIn mengembangkan sebuah sistem pesan publish\/subscribe yang kemudian diberi nama Apache Kafka.<\/p>\n\n\n\n
Apa itu Apache Kafka?<\/h2>\n\n\n\n
Kafka adalah salah satu open-source<\/em> yang dikembangkan oleh Apache Software Foundation dan dirilis pertama kali pada tahun 2011. Sejak tahun 2011, Apache Kafka banyak dipilih oleh administrator untuk aplikasi yang membutuhkan transfer data secara cepat, andal, dan skalabilitas yang tinggi.<\/p>\n\n\n\n Apache Kafka merupakan sistem pesan distribusi yang di desain khusus untuk mengelola aliran data dalam lingkup yang sangat besar. Kafka dapat berfungsi untuk mengirim, menyimpan, dan memproses aliran data secara real-time, dengan toleransi kesalahan yang tinggi dan latensi yang sangat rendah. <\/p>\n\n\n\n Pada dasarnya, Apache Kafka adalah sebuah message broker yang berperan sebagai penghubung antara produsen (producer<\/em>) dan konsumen (consumer<\/em>) untuk pengiriman pesan. <\/p>\n\n\n\n Namun, perlu dicatat bahwa dalam proses pengiriman pesan, Kafka berfungsi sebagai pengirim saja (send-only<\/em>), yang berarti hanya mengirimkan pesan dari produsen ke konsumen. Kelebihan dari Kafka adalah kecepatannya dalam mengirimkan data.<\/p>\n\n\n\n Berikut adalah terminologi dan susunan dari Apache Kafka :<\/p>\n\n\n\n Apache Kafka memiliki berbagai fungsi dalam pengolahan data secara realtime, berikut adalah beberapa fungsi Apache Kafka secara detail :<\/p>\n\n\n\n Apache Kafka adalah platform streaming data yang dapat dipergunakan untuk mengirim, menyimpan, dan memproses aliran data secara real-time. Data yang dikirimkan oleh producer dikirim dalam sebuah topik-topik Kafka, dan konsumen (costumer) akan membaca data tersebut untuk diproses atau disimpan.<\/p>\n\n\n\n Kerangka Kafka menggunakan sistem publish\/subscribe yang optimal. Costumer dapat berlangganan ke suatu topik untuk membaca data, memungkinkan agar Costumer mendapatkan update secara berkala untuk data yang selalu sama\/independen.<\/p>\n\n\n\n Apache Kafka dirancang untuk menangani jutaan pesan per detik. Apache Kafka dapat bekerja dengan baik dalam suatu kelompok atau cluster, sehingga dengan bertambahnya volume dan kecepatan aliran data yang harus diproses, kita hanya perlu menambah mesin baru saja pada cluster tanpa haru melakukan vertical-scaling. <\/p>\n\n\n\n Kafka dapat dioptimalkan dengan fungsi replikasi, berarti kafka memiliki suatu server<\/a> central yang berfungsi mengirimkan ke server backup yang ada, apabila server utama mengalami kegagalan, maka kinerja akan dialihkan ke server backup yang tersedia.<\/p>\n\n\n\n BACA JUGA : Replikasi Database: Pengertian, Fungsi dan Cara Membuatnya<\/a><\/strong><\/p>\n\n\n\n Apache Kafka telah diintegrasikan dengan berbagai sistem BigData, Seperti Apache Spark, Apache Flink, dan Apache Storm. Dengan ini kita dapat mengintegrasikan Kafka dengan sistem lainnya untuk memenuhi analisis data.<\/p>\n\n\n\n Fungsi-fungsi ini menjadikan Apache Kafka sebagai salah satu platform streaming data terkemuka yang digunakan oleh perusahaan\u00b2 besar untuk mengelola aliran data dalam skala besar dengan cepat, andal, efektif, dan skalabel.<\/p>\n\n\n\n Kali ini kita akan melakukan instalasi Apache Kafka pada VPS KVM<\/strong><\/a> dengan OS Ubuntu.<\/p>\n\n\n\n Apache Kafka memiliki beberapa persyaratan sistem yang perlu dipenuhi untuk menginstal dan menjalankannya dengan baik. Berikut adalah persyaratan sistem untuk Apache Kafka:<\/p>\n\n\n\n 1. Installasi OpenJDK dan Scala dengan perintah sebagai berikut.<\/p>\n\n\n\n Cek apakah Jdk dan Scala telah berhasil terinstall dengan perintah:<\/p>\n\n\n\n 2. Konfigurasi User <\/p>\n\n\n\n Buat user kafka, serta berikan akses untuk user kafka sebagai sudoer.<\/p>\n\n\n\n 3. Download dan ekstrak package Kafka, sesuaikan agar kafka di ekstrak pada folder home user kafka.<\/p>\n\n\n\n 4. Membuat Systemd Kafka agar dapat dilakukan eksekusi seperti start, stop, restart pada layanan Kafka.<\/p>\n\n\n\n Apache Kafka membutuhkan layanan bernama zookeeper untuk dapat berfungsi. Selanjutnya kita akan melakukan konfigurasi systemd untuk zookeeper yang terdapat pada path \/etc\/systemd\/system\/zookeeper.serv<\/p>\n\n\n\n Paste code berikut:<\/p>\n\n\n\n Setelah disimpan, kita akan membuat konfigurasi system unit untuk kafka<\/p>\n\n\n\n Paste code berikut:<\/p>\n\n\n\n 5. Konfigurasi Firewall Kafka.<\/p>\n\n\n\n Pastikan untuk server vps menggunakan firewall sebagai keamanan lalulintas data dan open port, kita dapat menggunakan firewall ufw<\/a> atau menggunakan csf firewall<\/a><\/p>\n\n\n\n Open port layanan Kafka berikut :<\/p>\n\n\n\n 6. Konfigurasi topic Kafka.<\/p>\n\n\n\n Pada setting default Kafka, kita tidak diizinkan untuk menghapus topic, maka akan kita ubah terlebih dahulu konfigurasi sebagai berikut<\/p>\n\n\n\n Tambahkan code berikut:<\/p>\n\n\n\n Start dan jalankan Apache Kafka dengan perintah berikut:<\/p>\n\n\n\n 7. Membuat Topic Kafka.<\/p>\n\n\n\n Pada panduan kali ini, kita akan membuat Topic yang bernama “rumahweb” dengan konfigurasi Partisi tunggal.<\/p>\n\n\n\n Output :<\/p>\n\n\n\n Kita dapat melihat topic yang kita buat sebelumya melalui zookeeper.<\/p>\n\n\n\n Test 1. Mengirim pesan menggunakan Kafka.<\/strong><\/p>\n\n\n\n Untuk mengirimkan massage secara broadcast maka kita harus menjalankan console terminal sebagai “producer” dan memilih topic sebagai target, Kita akan mengirimkan pesan broadcast marketing layanan Vps RumahWeb<\/p>\n\n\n\n Test 2. Pengujian pesan melalui consumer.<\/strong><\/p>\n\n\n\n Login sebagai consumer untuk melihat data yang telah dikirimkan oleh Kafka.<\/p>\n\n\n\n Sampai step ini, kafka telah berhasil diinstal dan dijalankan. kita dapat mengintegrasikan Kafka ke dalam aplikasi program lainnya menggunakan klien Kafka.<\/p>\n\n\n\n Demikian artikel kami tentang apa itu apache kafka hingga cara install di VPS Ubuntu. Semoga bermanfaat. <\/p>\n","protected":false},"excerpt":{"rendered":" Apache Kafka adalah sebuah platform distribusi streaming yang dirancang untuk mengatasi masalah pengolahan data secara real-time dalam skala besar. Lalu apa fungsi dan bagaimana cara install Apache Kafka di VPS Linux? Selengkapnya bisa Anda simak pada artikel berikut. Pada awal era BigData, pengolahan data secara realtime dan berkelanjutan dapat menggunakan sistem berbasis query seperti Hive […]<\/p>\n","protected":false},"author":349,"featured_media":40186,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[177],"tags":[819,2019,703],"class_list":{"0":"post-39929","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-vps","8":"tag-apache","9":"tag-apache-kafka","10":"tag-ubuntu"},"aioseo_notices":[],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/www.rumahweb.com\/journal\/wp-content\/uploads\/2023\/06\/Banner-Apache-Kafka-Adalah-Definisi-Fungsi-dan-Cara-Install-di-VPS-Linux.png","jetpack_shortlink":"https:\/\/wp.me\/p8n3G7-ao1","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/posts\/39929","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/users\/349"}],"replies":[{"embeddable":true,"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/comments?post=39929"}],"version-history":[{"count":0,"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/posts\/39929\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/media\/40186"}],"wp:attachment":[{"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/media?parent=39929"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/categories?post=39929"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.rumahweb.com\/journal\/wp-json\/wp\/v2\/tags?post=39929"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Terminologi Apache Kafka<\/h2>\n\n\n
![\"Terminologi](\"https:\/\/www.rumahweb.com\/journal\/wp-content\/uploads\/2023\/06\/Terminologi-Apache-Kafka.png\" "\\"Terminologi")
<\/a>\n
Fungsi Apache Kafka <\/h2>\n\n\n\n
1. Streaming Data<\/h3>\n\n\n\n
2. Publikasi Massage\/publish<\/h3>\n\n\n\n
3. Skalabilitas<\/h3>\n\n\n\n
4. Replikasi Data<\/h3>\n\n\n\n
5. Integrasi BigData<\/h3>\n\n\n\n
Cara Install Apache Kafka di Ubuntu<\/h2>\n\n\n\n
Step 1. Persiapan Sistem<\/h3>\n\n\n\n
\n
Step 2. Cara Install Apache Kafka di Ubuntu<\/h3>\n\n\n\n
sudo apt update\nsudo apt upgrade -y\nsudo apt install openjdk-17-jdk\nsudo apt install scala<\/code><\/pre>\n\n\n\njava -version\n\nscala -version<\/code><\/pre>\n\n\n\nadduser kafka\n\nusermod -aG sudo kafka<\/code><\/pre>\n\n\n\nsu - kafka\n\nwget https:\/\/www-us.apache.org\/dist\/kafka\/2.2.0\/kafka_2.12-2.2.0.tgz -O kafka.tgz\n\ntar -xzvf kafka.tgz --stripe 1<\/code><\/pre>\n\n\n\nnano \/etc\/systemd\/system\/zookeeper.serv<\/code><\/pre>\n\n\n\n[Unit]\nRequires=network.target remote-fs.target\nAfter=network.target remote-fs.target\n[Service]\nType=simple\nUser=kafka\nExecStart=\/home\/kafka\/bin\/zookeeper-server-start.sh \/home\/kafka\/config\/zookeeper.properties\nExecStop=\/home\/kafka\/bin\/zookeeper-server-stop.sh\nRestart=on-abnormal\n\n[Install]\nWantedBy=multi-user.target<\/code><\/pre>\n\n\n\nsudo nano \/etc\/systemd\/system\/kafka.service<\/code><\/pre>\n\n\n\n[Unit]\n\nRequires=zookeeper.service\nAfter=zookeeper.service\n[Service]\nType=simple\nUser=kafka\nExecStart=\/bin\/sh -c '\/home\/kafka\/bin\/kafka-server-start.sh \/home\/kafka\/config\/server.properties > \/home\/kafka\/kafka.log 2>&1'\nExecStop=\/home\/kafka\/bin\/kafka-server-stop.sh\nRestart=on-abnormal\n\n[Install]\nWantedBy=multi-user.target<\/code><\/pre>\n\n\n\n2181 (untuk zookeeper) \n9192 (untuk Kafka)<\/code><\/pre>\n\n\n\nnano ~\/config\/server.properties<\/code><\/pre>\n\n\n\ndelete.topic.enable = true<\/code><\/pre>\n\n\n\nsudo systemctl enable kafka\n\nsudo systemctl start kafka<\/code><\/pre>\n\n\n\nbin\/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic rumahweb<\/code><\/pre>\n\n\n\nCreated topic \"rumahweb\".<\/code><\/pre>\n\n\n\nbin\/kafka-topics.sh --list --zookeeper localhost:2181\n\nOutput :\nrumahweb<\/code><\/pre>\n\n\n\nPengujian Apache Kafka<\/h2>\n\n\n\n
bin\/kafka-console-producer.sh --broker-list localhost:9092 --topic rumahweb\n\n>VPS KVM Rumahweb\n\n>vps murah dengan datcenter terbaik (konten)\n\n><\/code><\/pre>\n\n\n\nbin\/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic rumahweb --from-beginning\n\n\nOutput :\nVPS KVM Rumahweb\nvps murah dengan datcenter terbaik<\/code><\/pre>\n\n\n\n