Inleiding tot Sqoop-opdrachten
In Sqoop Commands wordt elke rij als records behandeld en worden de taken door Map Task intern onderverdeeld in subtaken. De databases die worden ondersteund door sqoop zijn MYSQL, Oracle, IBM, PostgreSQL. Sqoop biedt een eenvoudige opdrachtregel, we kunnen gegevens uit de verschillende database ophalen via sqoop-opdrachten. Ze zijn geschreven in Java en gebruiken JDBC voor verbinding met andere databases.
Het staat voor 'SQL to Hadoop' en Hadoop to SQL en een open source tool. Het is een applicatie-connectiviteitstool die bulkgegevens overbrengt tussen het relationele databasesysteem en Hadoop (Hive, map verkleinen, Mahout, Pig, HBase). Hiermee kunnen gebruikers de doellocatie binnen Hadoop specificeren en sqoop gegevens laten verplaatsen van RDMS naar target. Ze bieden geoptimaliseerde MySQL-connectoren die database-specifieke API gebruiken om bulkoverdrachten volledig uit te voeren. De gebruiker importeert gegevens uit externe bronnen zoals Hive of Hbase. De sqoop heeft twee bestandsindelingen: gescheiden tekstbestandsindeling en volgordebestandsindeling.
Hier zijn de basisopdrachten van Sqoop-opdrachten:
-
Lijst tabel:
Deze opdracht geeft de specifieke tabel van de database op de MYSQL-server weer.
Voorbeeld:
-
Doelmap:
Deze opdracht importeertabel in een specifieke map in HDFS. -m geeft mapper argument aan. Ze hebben een geheel getal.
Voorbeeld:
-
Wachtwoord beveiliging:
Voorbeeld:
-
sqoop-eval:
Met deze opdracht worden snel SQL-query's van de respectieve database uitgevoerd.
Voorbeeld:
-
sqoop - versie:
Met deze opdracht wordt de versie van de sqoop weergegeven.
Voorbeeld:
-
sqoop-job
Met deze opdracht kunnen we een taak maken. De gemaakte parameters kunnen op elk gewenst moment worden opgeroepen. Ze nemen opties zoals (–create, –delete, –show, –exit).
Voorbeeld:
-
CSV-bestand laden naar SQL:
Voorbeeld:
-
connector:
Voorbeeld:
-
code gen:
Deze opdracht Sqoop maakt java-klassebestanden die de geïmporteerde records inkapselen. Alle Java-bestanden worden opnieuw gemaakt en er worden nieuwe versies van een klasse gegenereerd. Ze genereren code voor interactie met databaserecords. Haalt een lijst op van alle kolommen en hun datatypes.
Voorbeeld:
10.List-database:
Deze Sqoop-opdrachtenlijsten hebben alle beschikbare databases op de RDBMS-server.
voorbeeld:
Tussentijdse commando's van Sqoop-commando's:
1.sqoop -meta-winkel:
Met deze opdracht wordt een gedeelde metagegevensrepository gehost. Meerdere / externe gebruikers kunnen verschillende taken uitvoeren.
Commando:
$ sqoop .metastore.client.autoconnect.url
voorbeeld: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Deze opdracht geeft een overzicht van de beschikbare tools in sqoop en hun doel.
Commando:
$ sqoop help
$ bin / sqoop hulp import
3. Exporteren:
Deze opdracht exporteert gegevens van HDFS naar de RDMS-database. In HDFS worden gegevens opgeslagen als records.
Commando:
$ sqoop export \ –connect jdbc: mysql: // localhost / inventory - gebruikersnaam jony –table lib –export -dir / user / jony / inventory.
4. Invoegen:
Met deze opdracht wordt een nieuw record van de HDFS naar de RDBMS-tabel ingevoegd.
Commando
$ sqoop export –verbind JDBC: MySQL: // localhost / sqoop_export - tabel emp_exported –export -dir / sqoop / newemp -m -000
5. Update:
Met deze Sqoop-opdracht worden de records in de RDBMS bijgewerkt vanuit HDFS-gegevens.
Commando
$ sqoop export –verbind JDBC: MySQL: // localhost / sqoop_export - tabel emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Batchoptie:
Deze opdracht voegt meerdere rijen samen in, ze optimaliseren de invoegsnelheid met behulp van het Sqoop JDBC-stuurprogramma.
Commando
$ sqoop export \ -connect JDBC: MySQL: // hostnaam / –gebruikersnaam -wachtwoord -export -dir
7. Splitsen:
Wanneer deze opdracht wordt gebruikt, wordt de Where-clausule toegepast op de volledige SQL.
Commando
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT - tabel JUNK - waarbij "rownum <= 12"
8. AVRO-bestand in HDFS:
Ze slaan RDBMS-gegevens op als een Avro-bestand.
Commando
$ sqoop import –verbind JDBC: MySQL: // localhost / Acadgild –gebruikersnaam root –wachtwoord pp.34 –tabel betaling -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.
Geavanceerde opdrachten van Sqoop-opdrachten:
Opdrachten importeren:
Importopdrachten hebben importcontrolerargumenten. de verschillende argumenten zijn als volgt:
- grens: gebruikt voor het maken van splitsingen.
- as - text file: importeert platte tekstgegevens
- -kolommen (: kolommen importeren voor tabel
- -m, - num: om parallelle toewijzingstaken te importeren
- splitsen: splitst de kolom van de tabel
- -z, - comprimeren: compressie van de gegevens is ingeschakeld.
Incrementele importargumenten:
- check - column: geeft kolommen aan om te bepalen welke rijen moeten worden geïmporteerd.
- incrementeel (modus): geeft nieuwe rijen aan (inclusief toevoegen en laatste wijzigt rijen)
Argumenten uitvoerlijn:
- lines -minminated -by: ze stellen het eol-karakter in
- MySQL - scheidingstekens: ze stellen \ n velden: regels:
Importeren naar Hive
-bijenkorf - importeren: ze importeren tabellen in bijenkorf
-hive - partition-key: naam van de partitie wordt gedeeld.
-bijenkorf - overschrijven: ze overschrijven de gegevens in de bestaande tabel.
Importeren naar Hbase-argumenten:
-accumulo-table: dit specificeert de doeltabel in HBase.
-accumulo -column: Om het te importeren stelt u de doelkolom in.
-accumulo -: om de naam van de accumulo te importeren
–Accumulo -: om het wachtwoord van de accumulo te importeren
Opslaan in reeksbestanden:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventory \ - class-name com.foo.com.Inventory -as - sequencefile
Zoekopdracht importeren:
Met deze opdracht geeft u de instructie Sql op met het argument -query.
$ sqoop import \ –query 'SELECT a. *, b. * van een JOIN b op (a.id = b.id) waar $ voorwaarden' \ -split - door / target-dir / user
Incrementele export:
$ sqoop export –connect –table –username –password –incremental –check-row –last-value
Alle tabellen naar HDFS importeren:
$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - gebruikersnaam root.
Gegevens importeren in Hive:
$ sqoop import –connect –table –username –password –hive -import - hive -table
Gegevens importeren naar HBase:
commando:
$ sqoop import –connect –table –username –password –hive -import - HBase -table
Nullwaarden coderen:
commando:
$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –gebruikersnaam sqoop \ -wachtwoord sqoop \ –table lib \ –null -string '
Tips en trucs om Sqoop-opdrachten te gebruiken:
Als we de gegevensbewerkingen effectief willen uitvoeren, moeten we sqoop gebruiken, alleen via een enkele opdrachtregel kunnen we er veel taken en subtaken in uitvoeren. Sqoop maakt verbinding met verschillende relationele databases via connectoren, ze maken gebruik van het JDBC-stuurprogramma om ermee te communiceren. Omdat sqoop op zijn eigen bron draait, kunnen we sqoop uitvoeren zonder een installatieproces. De uitvoering van sqoop is eenvoudig omdat de gegevens parallel worden uitgevoerd. Met behulp van Map verkleinen kunnen we gegevens importeren en exporteren, wat op zijn beurt een parallelle uitvoering biedt.
Conclusie - Sqoop-opdrachten:
Tot slot regelt Sqoop Commands het proces van het importeren en exporteren van de gegevens. Sqoop biedt de mogelijkheid om de delen van de tabel bij te werken met de incrementele belasting. De gegevensimport in sqoop is niet gebeurtenisgestuurd. En er komt sqoop2 met ingeschakelde GUI voor gemakkelijke toegang samen met opdrachtregel. De gegevensoverdracht is snel omdat ze parallel worden overgedragen. Ze spelen een cruciale rol in de Hadoop-omgeving. Ze doen hun werk op zichzelf, niet nodig bij het importeren van kleine gegevenssets.
Aanbevolen artikelen
Dit is een handleiding voor Sqoop Commands geweest. Hier hebben we de basis- en geavanceerde Sqoop-opdrachten en enkele onmiddellijke Sqoop-opdrachten besproken. U kunt ook het volgende artikel bekijken voor meer informatie -
- Vragen en antwoorden over sollicitatiegesprek bij Sqoop
- Cheatsheet SQL (opdrachten, gratis tips en trucs)
- Belangrijke VBA-opdrachten
- Tableau-opdrachten