Inleiding tot de Command-lijst van Hadoop FS
Hadoop werkt op zijn eigen bestandssysteem dat in de natuur wordt gedistribueerd als "Hadoop distributed File System HDFS " . Hadoop vertrouwt op gedistribueerde opslag en parallelle verwerking. Deze manier om het bestand op gedistribueerde locaties in een cluster op te slaan, staat bekend als Hadoop distributed File System oftewel HDFS. Om verschillende bewerkingen op bestandsniveau uit te voeren, biedt HDFS zijn eigen set opdrachten die bekend staan als Hadoop File System Commands. Laten we die commando's onderzoeken. In dit onderwerp gaan we meer te weten komen over Hadoop FS Command.
Commando's van Hadoop FS
Elke HDFS-opdracht heeft het voorvoegsel 'hdfs dfs'. Het betekent dat we specificeren dat het standaardbestandssysteem HDFS is. Laten we opdrachten een voor een onderzoeken
1. Versies
Het versiecommando wordt gebruikt om de versie van de Hadoop te vinden die in het systeem is geïnstalleerd.
Syntaxis: Hadoop version
2. Het commando
De opdracht ls in Hadoop wordt gebruikt om de lijst met mappen in het genoemde pad op te geven. De opdracht ls neemt het hdfs-pad als parameter en retourneert een lijst met mappen in het pad.
Syntaxis: hdfs dfs -ls
Voorbeeld: hdfs dfs -ls / user / harsha
We kunnen ook -lsr gebruiken voor de recursieve modus
Syntaxis: hdfs dfs –lsr
3. Cat Command
Cat-opdracht wordt gebruikt om de inhoud van het bestand aan de console weer te geven. Deze opdracht neemt het hdfs-bestandspad als argument en geeft de inhoud van het bestand weer.
Syntaxis: hdfs dfs -cat
Voorbeeld: hdfs dfs -cat /user/harsha/empnew.txt
4. mkdir-opdracht
De opdracht mkdir wordt gebruikt om een nieuwe map in het hdfs-bestandssysteem te maken. Het neemt het hdfs-pad als een argument en maakt een nieuwe map in het opgegeven pad.
Syntaxis: hdfs dfs -mkdir
Voorbeeld: hdfs dfs -mkdir / gebruiker / voorbeeld
In de bovenstaande schermafbeelding is duidelijk te zien dat we een nieuwe map met de naam "example" maken met de opdracht mkdir en hetzelfde wordt getoond met de opdracht ls.
Ook voor het commando mkdir kunnen we de optie '-p' geven. Het maakt bovenliggende mappen in het pad als ze ontbreken.
Voorbeeld: hdfs dfs -mkdir -p / user / test / example2
In de bovenstaande schermafbeelding is het vrij duidelijk dat we de optie -p hebben en in het pad / user / test / example2 worden zowel de tests als de directories voor voorbeeld2 gemaakt.
5. zet commando
zet de opdracht in HDFS wordt gebruikt om bestanden te kopiëren van de opgegeven bronlocatie naar het hdfs-doelpad. Hier kan de bronlocatie een lokaal bestandssysteempad zijn. put command neemt twee argumenten, eerste is bronmap pad en de tweede is gericht HDFS-pad
Syntaxis: hdfs dfs -put
Voorbeeld: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
In de bovenstaande schermafbeelding kunnen we duidelijk zien dat het bestand van bron naar bestemming is gekopieerd.
6. opdracht copyFromLocal
De opdracht copyFromLocal in HDFS wordt gebruikt om bestanden van het bronpad naar het doelpad te kopiëren. Bron in deze opdracht is beperkt tot het lokale bestandssysteem
Syntaxis: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Verschil tussen put-opdracht en copyFromLocal-opdracht: er is niet veel verschil tussen deze twee hdfs-shellopdrachten. Beide worden gebruikt om vanuit het lokale bestandssysteem te kopiëren om het HDFS-bestandspad te targeten.
Maar put command is nuttiger en robuuster omdat het toestaat om meerdere bestanden of mappen naar bestemming in HDFS te kopiëren
hdfs dfs -put
7. krijg opdracht
get-opdracht in hdfs wordt gebruikt om een bepaald hdfs-bestand of -map naar het lokale pad van het lokale bestandssysteem te kopiëren. Er zijn twee argumenten voor nodig, één is het bron hdfs-pad en de andere is het doel lokale bestandssysteempad
Syntaxis: hdfs dfs -get
Voorbeeld: hdfs dfs -get / user / test / example2 / home / harsha
8. opdracht copyToLocal
De opdracht copyToLocal in hdfs wordt gebruikt om een bestand of map in hdfs naar het lokale bestandssysteem te kopiëren. Met deze opdracht wordt de bestemming vastgelegd in het lokale bestandssysteem. Deze opdracht copyFromLocal lijkt op de opdracht get.
Syntaxis: hdfs dfs -copyToLocal
Voorbeeld: hdfs dfs -copyToLocal / user / harsha / example / home / harsha
9. tel opdracht
count command in hdfs wordt gebruikt om het aantal mappen in het gegeven pad te tellen. count command neemt een gegeven pad als een argument en geeft het aantal mappen in dat pad.
Syntaxis: hdfs dfs -count
Voorbeeld: hdfs dfs -count / user
10. mv-opdracht
mv-opdracht in hdf's wordt gebruikt om een bestand tussen hdf's te verplaatsen. De opdracht mv neemt het bestand of de map van het opgegeven hdfs-pad en verplaatst deze naar het hdfs-pad.
Syntaxis : hdfs dfs -mv
Voorbeeld : hdfs dfs -mv / user / test / example2 / user / harsha
In de bovenstaande schermafbeelding kunnen we zien dat de map example2 nu aanwezig is in / user / harsha
11. setrep commando
setrep-opdracht in hdfs wordt gebruikt om de replicatiefactor van het gegeven bestand te wijzigen. Standaard heeft hdfs een replicatiefactor van '3'. Als het opgegeven pad een map is, wijzigt deze opdracht de replicatiefactor van alle bestanden in die map.
Syntaxis: hdfs dfs -setrep (-R) (-w)
-w: deze vlag geeft aan dat de opdracht moet wachten tot de replicatie is voltooid.
rep: replicatiefactor
Voorbeeld: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du commando
du commando in hdfs toont schijfgebruik voor het gegeven hdfs-pad. Het neemt het hdfs-pad als invoer en retourneert schijfgebruik in bytes.
Syntaxis : hdfs dfs -du
Voorbeeld: hdfs dfs -du /user/harsha/empnew.txt
13. rm commando
De opdracht rm in hdfs wordt gebruikt om bestanden of mappen in het opgegeven hdfs-pad te verwijderen. Deze opdracht neemt het hdfs-pad als invoer en verwijdert de bestanden die in dat pad aanwezig zijn.
Syntaxis : hdfs dfs -rm
Voorbeeld : hdfs dfs -rm / user / harsha / example
Conclusie - Hadoop FS Command
We hebben hierbij kennis gemaakt met verschillende hdfs-opdrachten, hun respectieve syntaxis met voorbeelden ook. Let op: start alle hdfs-opdrachten, we moeten het bin / hdfs-script uitvoeren. hdfs wordt gevolgd door een optie bekend als dfs, die aangeeft dat we werken met het door Hadoop gedistribueerde bestandssysteem. Met behulp van de bovengenoemde opdrachten kunnen we onderhandelen met het HDFS-bestandssysteem.
Aanbevolen artikelen
Dit is een gids voor Hadoop FS Command. Hier bespreken we de meest gebruikte HDFS-opdrachten. U kunt ook het volgende artikel bekijken voor meer informatie -
- Hadoop-architectuur
- HADOOP Framework
- Hadoop installeren
- Hadoop-gereedschappen
- Versies van het tableau
- Handleiding voor de lijst met Unix Shell-opdrachten