Hoe Kafka installeren?
Kafka is een gedistribueerd streamingplatform. Het helpt bij het publiceren en onderschrijven van streams van records. Kafka wordt meestal gebruikt voor het bouwen van realtime streaming gegevenspijplijnen die op betrouwbare wijze gegevens tussen verschillende systemen en applicaties ophalen. Het kan ook helpen bij het bouwen van realtime streamingapplicaties die helpen bij het transformeren of wijzigen van gegevensstromen. Kafka maakt het mogelijk om streams van records op te slaan in verschillende categorieën die onderwerpen worden genoemd. Elk record bestaat uit een sleutel, een waarde en een tijdstempel. Het heeft vier belangrijke componenten zoals Producer API, Consumer API, Streams API en Connector API. Het maakt gebruik van het TCP-protocol, wat een goede communicatie is tussen clients en servers met hoge prestaties. Om Kafka te installeren kunnen de volgende stappen worden gevolgd.
Installeer Kafka op Windows OS
Volg onderstaande stappen om Kafka op Windows te installeren:
Stap 1. Download Zookeeper via de volgende link: HTTP: //zookeeper.apache.org/releases.html
Zodra dit is gebeurd, downloadt Kafka via de link: http://kafka.apache.org/downloads.html
Download ook JRE volgens uw besturingssysteem en CPU-architectuur via onderstaande link: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Stap 2. JDK Setup-
Start JRE-installatie en schakel het selectievakje 'Bestemmingsmap wijzigen' in. Klik nu op Installeren.
Zodra dit is gebeurd, wijzigt u de map in een willekeurig pad zonder spaties in de mapnaam.
Stap 3. Zodra dit is gedaan, opent u de omgevingsvariabelen vanuit het Configuratiescherm -> Systeem -> Geavanceerde systeeminstellingen -> Omgevingsvariabelen.
Stap 4. Klik op Nieuwe gebruikersvariabele op het tabblad Gebruikersvariabele en typ vervolgens JAVA_HOME in de variabelenaam. Voer uw JRE-pad in het gedeelte Variabele waarde in. Het zou als volgt moeten zijn:
Stap 5. Klik nu op OK.
Stap 6. Zoek een padvariabele in de sectie 'Systeemvariabele' in het geopende dialoogvenster 'Omgevingsvariabele'.
Stap 7. Bewerk het pad en typ ";% JAVA_HOME% \ bin" aan het einde van de tekst die daar al is geschreven, net als de onderstaande afbeelding:
Stap 8. Om te controleren of Java correct is geïnstalleerd, gaat u naar de opdrachtprompt en typt u 'java - versie'. De geïnstalleerde versie van Java wordt op het scherm weergegeven.
Als u de bovenstaande details op de opdrachtprompt ziet, bent u goed van Java-kant.
Nadat Java is geïnstalleerd, kunt u nu verder gaan om de installatie van Zookeeper te voltooien.
Volg de onderstaande stappen om Zookeeper op uw systeem te installeren:
- Open de map waar de Zookeeper-configuratiemap aanwezig is. Dit kan C: \ zookeeper-3.4.7 \ conf zijn.
- Hernoem nu het bestand "zoo_sample.cfg" naar "cfg"
- Open dit hernoemde bestand in Kladblok.
- Zoek en bewerk het volgende: dataDir = / tmp / zookeeper to \ zookeeper-3.4.7 \ data
- Net zoals we omgevingsvariabele voor Java hebben toegevoegd, voeg een omgevingsvariabele voor Zookeeper toe.
- Stel het systeemvariabele pad in als: dataDir = / tmp / zookeeper op: \ zookeeper-3.4.7 \ data
- Bewerk de systeemvariabele met de naam 'Path' en voeg toe; % ZOOKEEPER_HOME% \ bin;
- De standaardpoort voor Zookeeper is 2181 die kan worden gewijzigd in een andere poort door naar het bestand zoo.cfg te gaan.
- Voer Zookeeper uit door een nieuwe cmd te openen en typ 'zkserver'. U zult de onderstaande details zien.
Zodra u dit scherm ziet, moet u er zeker van zijn dat Zookeeper met succes is geïnstalleerd.
Kafka instellen
Zodra u Java en Zookeeper op uw systeem hebt geïnstalleerd, kunt u doorgaan met het instellen van Kafka.
- Ga naar de Kafka-configuratiemap.
- Bewerk het bestand "server.properties".
- Zodra dit is gedaan, kunt u de regel vinden en bewerken waar u ziet: dirs = / tmp / kafka-logs naar "log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Als uw Zookeeper op een andere computer wordt uitgevoerd, kunt u dit pad wijzigen in "zookeeper.connect: 2181" in een aangepast IP- en poort-ID.
- De standaardpoort voor Kafka is poort 9092 en om verbinding te maken met Zookeeper is dit 2181.
Een Kafka-server uitvoeren
Nadat de eerste installatie is voltooid, kunt u eenvoudig een Kafka-server uitvoeren
Voordat u de Kafka-server uitvoert, moet u ervoor zorgen dat de Zookeeper-instantie actief is.
1. Ga naar Kafka installatiemap: C: /kafka_2.11-0.9.0.0
2. Open de opdrachtprompt en druk op Shift + klik met de rechtermuisknop en kies de optie 'Opdrachtvenster hier openen'.
3. Typ nu. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties en druk op Enter.
Als je dit eenmaal hebt uitgevoerd en alles in orde is, ziet je scherm er als volgt uit:
4. Nu is uw Kafka-server actief. U kunt uw eigen onderwerpen maken om verschillende berichten op te slaan. Zodra dit is gebeurd, kunt u gegevens van Java- of Scala-code produceren en gebruiken of direct uitvoeren vanaf de opdrachtprompt.
Kafka installeren op Linux
Volg de onderstaande stappen om Kafka op Linux te installeren:
Stap 1. Download en extraheer Kafka-binaries en sla ze op in mappen.
Stap 2. Pak het archief uit dat u downloadt met de opdracht tar.
Stap 3. Ga naar server.properties om Kafka te configureren. Open dit bestand met het nano-commando en voeg het volgende toe onderaan het bestand.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Stap 4. Zodra dit is gebeurd, moet de gebruiker systeemeenheidbestanden maken voor Kafka-services. Dit helpt bij het uitvoeren van algemene serviceacties zoals het opstarten, stoppen en opnieuw opstarten van Kafka op een consistente manier met andere Linux-services. Zookeeper is een service die door Kafka wordt gebruikt om zijn cluster en configuraties te beheren.
Stap 5. Ga als volgt te werk om een eenheidsbestand voor Zookeeper te maken:
sudo nano /etc/systemd/system/zookeeper.service
Stap 6. Zodra dit Zookeeper-bestand is gemaakt, plakt u het hieronder:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
Deze sectie (Eenheid) hier geeft aan dat Zookeeper vereist dat netwerken en bestandssysteem gereed zijn voordat het kan starten.
De sectie (Service) laat het systeem weten dat de bestanden zookeeper-server-start.sh en zookeeper-server-stop.sh aanwezig zijn voor het starten en stoppen van de services.
Stap 7. Nu moet de gebruiker een systeembestand voor Kafka maken, zoals hieronder:sudo nano /etc/system/system/Kafka.service
Stap 8. In dit bestand plak je hieronder:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Hier geeft de (Eenheid) aan dat het eenheidsbestand afhankelijk is van zookeeper.service. Dit zorgt ervoor dat de dierenverzorger wordt gestart voordat Kafka start.
Stap 9. U moet nu Kafka inschakelen en de server opnieuw opstarten. Uitvoeren: sudo systemctl Kafka inschakelen
Stap 10. Installatie testen:
U kunt uw Kafka-installatie testen door een onderwerp te maken en dit vervolgens aan consumenten te publiceren.
Maak een onderwerp door : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
Plaats deze gebruiker kan producenten en consumenten maken en vervolgens alle gegevens over de specifieke onderwerpen publiceren.
Aanbevolen artikelen
Dit is een handleiding voor Kafka installeren. Hier hebben we verschillende stappen besproken om Kafka op Windows en Linux te installeren. U kunt ook de volgende artikelen bekijken voor meer informatie -
- Stap om Java te installeren 8
- Hoe te installeren C
- Handleiding voor het installeren van Ruby
- Kafka-toepassingen
- JRE vs JVM | Top 8 verschillen met (infographics)