Inleiding tot Hadoop fs Commands
In dit artikel zullen we de opdrachten voor bestandsverwerking van HADOOP doorlopen, die worden gebruikt voor het beheren van de bestanden via de console.
Je hebt een Linux-systeem en de nieuwste Hadoop-versie nodig. Om de Hadoop-versie af te drukken, om te weten door wie de release is gebouwd, hebben we de checksum-waarde nodig om het onderstaande commando uit te voeren na inloggen op het Hadoop-platform.
Commando: Hadoop-versie
Commando's van Hadoop fs
Laten we nu leren hoe we HADOOP fs-opdrachten kunnen gebruiken.
We beginnen met de basis. Typ gewoon deze opdrachten in PUTTY of een console waarmee u vertrouwd bent.
1. hadoop fs -ls
Voor een map retourneert het de lijst met bestanden en mappen, terwijl het voor een bestand de statistieken voor het bestand retourneert.
hadoop fs -lsr: dit is om recursief de mappen en bestanden onder specifieke mappen te vermelden.
- Voorbeeld : hadoop fs -ls / of hadoop fs -lsr
- -d: dit wordt gebruikt om de mappen weer te geven als gewone bestanden.
- -h: Dit wordt gebruikt om de bestandsgrootte op een voor mensen leesbare manier te formatteren dan alleen het aantal bytes.
- -R: Dit wordt gebruikt om recursief de inhoud van mappen weer te geven.
2. hadoop fs -mkdir
Deze opdracht neemt het pad als argument en maakt mappen in hdf's.
- Voorbeeld : hadoop fs -mkdir / user / datahub1 / data
3. hadoop fs -touchz
Het creëert een leeg bestand en gebruikt geen ruimte
- Voorbeeld: hadoop fs -touchz URI
4. hadoop fs -rm
Verwijder bestanden die zijn opgegeven als het argument. We moeten de optie -r opgeven om de hele map te verwijderen. En als de optie -skipTrash is opgegeven, wordt de prullenbak overgeslagen en wordt het bestand onmiddellijk verwijderd.
- Voorbeeld : hadoop fs -rm -r /user/test1/abc.text
5. hadoopfs -rmdir
Het verwijdert bestanden en machtigingen van mappen en submappen. Kortom, het is de uitgebreide versie van de Hadoop fs -rm.
6. hadoop fs -cp
Het kopieert het bestand van de ene locatie naar de andere
- Voorbeeld : hadoop fs -cp /user/data/abc.csv / user / datahub
7. hadoop fs -copyFromLocal
Het kopieert het bestand van edgenode naar HDFS.
8. hadoop fs -put
Het kopieert het bestand van edgenode naar HDFS, het is vergelijkbaar met de vorige opdracht, maar leest ook invoer van standaardinvoer stdin en schrijft naar HDFS
- Voorbeeld : hadoop fs -put abc.csv / user / data
hadoop fs -put -p: de vlag behoudt de toegang, aanpassingstijd, eigendom en de modus.
hadoop fs -put -f: deze opdracht overschrijft de bestemming als het bestand al vóór de kopie bestaat.
9. hadoop fs -moveFromLocal
Het is vergelijkbaar met kopiëren van lokaal, behalve dat het bronbestand wordt verwijderd uit de lokale edgenode nadat het naar HDFS is gekopieerd
- Voorbeeld : fs -moveFromLocal abc.text / user / data / acb.
10. hadoop fs -copyToLocal
Het kopieert het bestand van HDFS naar edgenode.
- Voorbeeld : fs -copyToLocal abc.text / localpath
11. hadoop fs -chmod
Met deze opdracht kunnen we de toegang tot een bestand of map wijzigen
- Voorbeeld : hadoop fs -chmod (-R) (pad)
12. hadoop fs -bekend
Deze opdracht helpt ons om het eigendom van een bestand of map te wijzigen
- Voorbeeld : hadoop fs -chown (-R) (OWNER) (:( GROUP)) PATH
13. hadoop fs -cat
Het drukt de inhoud van een HDFS-bestand af op de terminal
- Voorbeeld : hadoop fs -cat /user/data/abc.csv
14. hadoop fs -staart
Het toont de laatste KB van het HDFS-bestand naar de stdout
- Voorbeeld : hadoop fs -tail / in / xyzfile
15. hadoop fs -test
Deze opdracht wordt gebruikt voor HDFS-bestandstestbewerkingen en retourneert 0 indien true.
- - e: controleert of het bestand bestaat.
- -z: controleert of het bestand geen lengte heeft
- -d / -f: controleert of het pad respectievelijk een map / bestand is
Hier bespreken we een voorbeeld in detail
- Voorbeeld : hadoop fs -test - (defz) /user/test/test1.text
16. hadoop fs -du
Toont de grootte van bestanden en mappen in de gegeven map of de lengte van een bestand als het een bestand is
17. hadoop fs -df
Het geeft vrije ruimte weer
18. hadoop fs -checksum
Retourneert de controlesominformatie van een bestand
19. hadoop fs -getfacl
Het toont de toegangslijst (ACL's) van het specifieke bestand of de betreffende map
20. hadoop fs -telling
Het telt het aantal mappen, bestanden en bytes onder het pad dat overeenkomt met het opgegeven bestandspatroon.
21. hadoop fs -setrep
Wijzigt de replicatiefactor van een bestand. En als het pad een map is, wijzigt de opdracht de replicatiefactor van alle bestanden onder de map.
- Voorbeeld : hadoop fs -setrep -R / user / datahub: het wordt gebruikt om de achterwaartse mogelijkheid te accepteren en heeft geen effect.
hadoop fs - setrep -w / user / datahub : wacht tot de replicatie is voltooid
22. hadoop fs-getmerge
Het voegt HDFS-bestanden in de bron samen in het lokale doelbestand
- Voorbeeld : hadoop fs -getmerge / user / datahub
23. hadoop fs -appendToFile
Voegt een enkele bron of meerdere bronnen van het lokale bestandssysteem toe aan de bestemming.
- Voorbeeld : hadoop fs -appendToFile xyz.log data.csv / in / appendfile
24. hadoop fs -stat
Het drukt de statistieken over het bestand of de map af.
- Voorbeeld : hadoop fs -stat (formaat)
Conclusie - Hadoop fs Commands
We hebben dus bijna alle opdrachten doorlopen die nodig zijn voor de bestandsverwerking en bekijken de gegevens in de bestanden. U kunt nu uw bestanden wijzigen en gegevens in het Hadoop-platform opnemen.
Aanbevolen artikelen
Dit is een handleiding voor Hadoop fs Commands. Hier bespreken we de inleiding tot Hadoop fs-opdrachten samen met het voorbeeld in detail. U kunt ook de volgende artikelen bekijken voor meer informatie-
- Hadoop installeren
- Hadoop-gereedschappen
- Hadoop-architectuur
- Hadoop-componenten
- Hadoop fs Commando's