Konfiguracja Kafki: 4 kroki

2024 Autor: John Day | [email protected]. Ostatnio zmodyfikowany: 2024-01-30 11:30

Wstęp:

Apache Kafka to skalowalny i wysokoprzepustowy system przesyłania wiadomości typu open source opracowany przez Apache Software Foundation napisany w Scali. Apache Kafka został specjalnie zaprojektowany, aby pojedynczy klaster mógł służyć jako centralna sieć szkieletowa danych w dużym środowisku. Ma znacznie wyższą przepustowość w porównaniu do innych systemów brokerów komunikatów, takich jak ActiveMQ i RabbitMQ. Jest w stanie wydajnie obsługiwać duże ilości danych w czasie rzeczywistym. Kafkę można wdrożyć na pojedynczym serwerze Apache lub w rozproszonym środowisku klastrowym.

Cechy:

Ogólne cechy Kafki są następujące:

Trwała wiadomość na dysku, która zapewnia stałą wydajność czasu.

Wysoka przepustowość dzięki strukturom dyskowym obsługującym setki tysięcy wiadomości na sekundę.

System rozproszony można łatwo skalować bez przestojów.

Obsługuje wielu abonentów i automatycznie równoważy odbiorców w przypadku awarii.

Ten samouczek pokazuje, jak zainstalować i skonfigurować Apache Kafka na serwerze Ubuntu 16.04.

Wymagania

Serwer Ubuntu 16.04.

Konto użytkownika innego niż root z uprawnieniami superużytkownika skonfigurowanymi na serwerze.

Krok 1: Rozpoczęcie pracy i instalacja Java

1)Zacznijmy się upewnić, że serwer Ubuntu 16.04 jest w pełni aktualny

Możesz zaktualizować swój serwer, uruchamiając następujące polecenia:-

aktualizacja sudo apt-get -y

sudo apt-get upgrade -y

2) Instalacja Javy

Sprawdź, czy twój komputer ma już zainstalowaną java lub ma domyślną wersję java za pomocą następującego polecenia:-

wersja java

Nawet jeśli masz javę, ale niższą wersję, będziesz musiał ją uaktualnić.

Możesz zainstalować Javę przez:-

sudo apt-get install default-jdk

LUB

Możesz zainstalować Oracle JDK 8 za pomocą repozytorium PPA zespołu Webupd8.

Aby dodać repozytorium, uruchom następujące polecenie:-

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install oracle-java8-installer -y

Krok 2: Zainstaluj Zookeeper

Co to jest Zookeeper?

Zookeeper to scentralizowana usługa do przechowywania informacji konfiguracyjnych, nazewnictwa, zapewniania rozproszonej synchronizacji i świadczenia usług grupowych. Wszystkie te rodzaje usług są używane w takiej czy innej formie przez aplikacje rozproszone. Za każdym razem, gdy są wdrażane, dużo pracy wkłada się w naprawę błędów i warunków wyścigu, które są nieuniknione. Ze względu na trudność we wdrażaniu tego rodzaju usług, aplikacje początkowo zwykle je skąpią, przez co stają się kruche w obecności zmian i trudne w zarządzaniu. Nawet jeśli są wykonane poprawnie, różne implementacje tych usług prowadzą do złożoności zarządzania podczas wdrażania aplikacji.

Przed zainstalowaniem Apache Kafka musisz mieć dostępną i uruchomioną opiekunkę zoo. ZooKeeper to usługa open source służąca do przechowywania informacji konfiguracyjnych, zapewniania rozproszonej synchronizacji, nazywania i świadczenia usług grupowych.

1)Domyślnie pakiet Zookeeper jest dostępny w domyślnym repozytorium Ubuntu

Możesz go zainstalować, uruchamiając następujące polecenie: –

sudo apt-get zainstaluj zookeeperd

Po zakończeniu instalacji zostanie automatycznie uruchomiony jako demon. Domyślnie Zookeeper będzie działać na porcie 2181.

Możesz to przetestować, uruchamiając następujące polecenie:

netstat -ant | grep: 2181

Wyjście powinno pokazać, że port 2181 jest nasłuchiwany.

Krok 3: Zainstaluj i uruchom serwer Kafka

Po zainstalowaniu Java i ZooKeeper nadszedł czas, aby pobrać i wyodrębnić Kafkę ze strony Apache.

1) Możesz użyć curl lub wget, aby pobrać Kafkę: (wersja Kafka 0.10.1.1)

Uruchom następujące polecenie, aby pobrać konfigurację kafki: –

curl -O

LUB

wget

2)Utwórz katalog dla Kafki

Następnie utwórz katalog do instalacji Kafki:

sudo mkdir /opt/kafka

cd /opt/kafka

3) Rozpakuj pobrany folder

sudo tar -zxvf /home/nazwa_użytkownika/Pobrane/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*Zmień nazwę użytkownika zgodnie z twoją nazwą użytkownika

4) Uruchom serwer kafka

Następnym krokiem jest uruchomienie serwera Kafka, możesz go uruchomić, uruchamiając skrypt kafka-server-start.sh znajdujący się w katalogu /opt/kafka/kafka_2.11-0.10.1.1/bin/ za pomocą następującego polecenia:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5)Sprawdź, czy serwer Kafka działa dobrze

Masz teraz serwer Kafka działający i nasłuchujący na porcie 9092.

Teraz możemy sprawdzić porty nasłuchowe:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ':2181|:9092'

Krok 4: Przetestuj swój serwer Kafka

Teraz nadszedł czas, aby sprawdzić, czy serwer Kafki działa poprawnie.

1) Utwórz nowy temat

Aby przetestować Kafkę, utwórz przykładowy temat o nazwie „testowanie” w Apache Kafka za pomocą następującego polecenia:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --współczynnik replikacji 1

2)Sprawdź, czy Twój temat został pomyślnie utworzony

Teraz poproś Zookeepera o wyświetlenie dostępnych tematów na Apache Kafka, uruchamiając następujące polecenie:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper lokalny host: 2181

3) Opublikuj wiadomość, korzystając z utworzonego tematu

echo "witaj świecie" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testowanie

4) Odbierz wiadomość na utworzony temat

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testing –od-początek

5)Aby wysłać plik za pomocą kafki na temat

kafka-console-producer.sh --broker-list Lokalny Gospodarz: 9092 –testowanie tematu