Inleiding tot Apache PIG interviewvragen en antwoorden
Dus je hebt eindelijk je droombaan gevonden in Apache PIG, maar we vragen ons af hoe we het 2019 Apache PIG-interview kunnen kraken en wat de waarschijnlijke Apache PIG-interviewvragen kunnen zijn. Elk Apache PIG-interview is anders en de reikwijdte van een baan is ook anders. Met dit in gedachten hebben we de meest voorkomende vragen en antwoorden over het Apache PIG-interview ontworpen om u te helpen succes te behalen in uw Apache PIG-interview.
Het volgende is de lijst met 2019 Apache PIG Interview-vragen die meestal worden gesteld
1. Wat zijn de belangrijkste verschillen tussen MapReduce en Apache Pig?
Antwoord:
Hier volgen de belangrijkste verschillen tussen Apache Pig en MapReduce als gevolg waarvan Apache Pig in beeld kwam:
• MapReduce is een gegevensverwerkingsmodel op laag niveau, terwijl Apache Pig een gegevensstroomplatform op hoog niveau is
• Zonder de complexe Java-implementaties in MapReduce te schrijven, kunnen programmeurs gemakkelijk dezelfde implementaties realiseren met Pig Latin.
• Apache Pig biedt geneste gegevenstypen zoals tassen, tupels en kaarten omdat ze ontbreken in MapReduce.
• Pig ondersteunt de gegevensbewerkingen zoals filters, joins, bestellen, sorteren etc. met veel ingebouwde operators. Terwijl dezelfde functie uitvoeren in MapReduce een immense taak is.
2. Leg het gebruik van MapReduce in Pig uit.
Antwoord:
Apache Pig-programma's zijn geschreven in een querytaal die Pig Latin wordt genoemd en die vergelijkbaar is met de SQL-querytaal. Om een query uit te voeren, is er een uitvoeringsmotor nodig. En de Pig-engine converteert de vragen in MapReduce-taken en dus fungeert MapReduce als de uitvoerings-engine en is deze nodig om de programma's uit te voeren.
3. Leg het gebruik van Pig uit.
Antwoord:
We kunnen het varken in drie categorieën gebruiken, ze zijn:
• ETL-gegevenspijplijn: het helpt ons gegevensmagazijn te vullen. Varken kan de gegevens naar een externe toepassing pijplijnen, het zal wachten tot het klaar is zodat het de verwerkte gegevens heeft ontvangen en vanaf daar verdergaan. Het is de meest voorkomende use case voor Pig.
• Onderzoek naar onbewerkte gegevens.
• Iteratieve verwerking.
4. Vergelijk Apache Pig en SQL.
Antwoord:
• Apache Pig verschilt van SQL in het gebruik ervan voor ETL, luie evaluatie, gegevens op elk willekeurig moment in de pijplijn opslaan, ondersteuning voor pijplijn splitsen en expliciete verklaring van uitvoeringsplannen. SQL (Structurele querytaal) is georiënteerd op query's die één resultaat opleveren. SQL heeft geen ingebouwd mechanisme voor het splitsen van de gegevensverwerkingsstroom en het toepassen van verschillende operatoren op elke substroom.
• Apache Pig maakt het mogelijk om gebruikerscode op elk punt in de pijplijn op te nemen, terwijl als SQL, waar gegevens moeten worden gebruikt, eerst in de database moet worden geïmporteerd en dan het proces van opschonen en transformeren begint.
5. Leg uit over de verschillende complexe gegevenstypen in Pig.
Antwoord:
Apache Pig ondersteunt drie complexe gegevenstypen-
• Kaarten: dit zijn belangrijke, waardevolle winkels die met # zijn samengevoegd.
Voorbeeld: ('city' # 'pune', 'pin' # 411045) • Tuples- Net zoals de rij in een tabel, waar verschillende items worden gescheiden door een komma. Tuples kunnen meerdere attributen hebben.
• Tassen - Een ongeordende verzameling tupels. De tas staat meerdere dubbele tupels toe.
Voorbeeld: (('Mumbai', 022), ('New Delhi', 011), ('Kolkata', 44))
6. Leg verschillende uitvoeringsmodellen uit die beschikbaar zijn in Pig.
Antwoord:
Drie verschillende uitvoeringsmodi beschikbaar in Pig zijn ze,
• Interactieve modus of Grunt-modus.
Interactieve modus of grunt-modus: Pig's interactieve shell staat bekend als grunt shell. Als er geen bestand is opgegeven om te worden uitgevoerd in Pig, wordt het gestart.
• Batchmodus of Scriptmodus.
Pig voert de opgegeven opdrachten in het scriptbestand uit.
• Ingesloten modus
We kunnen Pig-programma's insluiten in Java en we kunnen de programma's uitvoeren vanuit Java.
7. Leg uit over de uitvoeringsplannen (logisch en fysiek plan) van een varkensscript
Antwoord:
Logische en fysieke plannen worden gemaakt tijdens de uitvoering van een varkensscript. Varkenscripts zijn gebaseerd op controle van de tolk. Het logische plan wordt geproduceerd door semantische controle en basisparsing en er vindt geen gegevensverwerking plaats tijdens het maken van een logisch plan. Voor elke regel in het Pig-script wordt de syntaxiscontrole uitgevoerd voor operators en wordt een logisch plan gemaakt. Wanneer er een fout in het script wordt aangetroffen, wordt een uitzondering gegenereerd en wordt de uitvoering van het programma beëindigd, anders heeft elke instructie in het script een eigen logisch plan.
Een logisch plan bevat de verzameling operatoren in het script, maar bevat niet de randen tussen de operatoren.
Nadat het logische plan is gegenereerd, wordt de scriptuitvoering verplaatst naar het fysieke plan waar een beschrijving staat van de fysieke operatoren die Apache Pig zal gebruiken om het Pig-script uit te voeren. Een fysiek plan lijkt min of meer op een reeks MapReduce-taken, maar dan bevat het plan geen enkele referentie over hoe het wordt uitgevoerd in MapReduce. Tijdens het maken van een fysiek plan, wordt de logische operator van de cogroep omgezet in 3 fysieke operators, namelijk Local opnieuw rangschikken, Globaal opnieuw rangschikken en Pakket. Laad- en opslagfuncties worden meestal opgelost in het fysieke plan.
8. Wat zijn de foutopsporingshulpmiddelen die worden gebruikt voor Apache Pig-scripts?
Antwoord:
Beschrijf en verklaar de belangrijkste hulpprogramma's voor foutopsporing in Apache Pig.
• Het hulpprogramma Explain is handig voor Hadoop-ontwikkelaars wanneer ze fouten willen opsporen of PigLatin-scripts willen optimaliseren. uitleg kan worden toegepast op een bepaalde alias in het script of het kan worden toegepast op het hele script in de grunt interactieve shell. uitleg hulpprogramma produceert verschillende grafieken in tekstformaat die kunnen worden afgedrukt naar een bestand.
• Beschrijf het hulpprogramma voor foutopsporing en is handig voor ontwikkelaars bij het schrijven van Pig-scripts, omdat het schema van een relatie in het script wordt weergegeven. Voor beginners die proberen Apache Pig te leren kennen, kunnen het hulpprogramma beschrijven gebruiken om te begrijpen hoe elke operator gegevens wijzigt. Een varkensscript kan meerdere omschrijvingen hebben.
9. Wat zijn enkele van de gebruiksvoorbeelden van Apache Pig die je kunt bedenken?
Antwoord:
• Big Data-tool van Apache Pig wordt met name gebruikt voor iteratieve verwerking, onderzoek naar onbewerkte gegevens en voor traditionele ETL-datapijplijnen. Aangezien Pig kan werken in omstandigheden waarin het schema niet bekend, inconsistent of onvolledig is, wordt het veel gebruikt door onderzoekers die de gegevens willen gebruiken voordat deze worden opgeschoond en in het datawarehouse worden geladen.
• Om gedragsvoorspellingsmodellen te bouwen, kan het bijvoorbeeld door een website worden gebruikt om de respons van de bezoekers op verschillende soorten advertenties, afbeeldingen, artikelen, enz. Te volgen.
10. Markeer het verschil tussen groeps- en cogroepoperators in Pig.
Antwoord:
Beide operators kunnen met een of meer relaties werken. Groeps- en cogroepoperators zijn identiek. Groepsexploitant verzamelt alle records met dezelfde sleutel. Cogroup is een combinatie van groep en join, het is een generalisatie van een groep in plaats van het verzamelen van records van één invoer is afhankelijk van een sleutel, het verzamelt records van n invoer op basis van een sleutel. Per keer kunnen we maximaal 127 relaties samenvoegen.
Aanbevolen artikelen
Dit is een gids geweest voor de lijst met Apache PIG Interview-vragen en antwoorden, zodat de kandidaat deze Apache PIG Interview-vragen gemakkelijk kan beantwoorden. Dit artikel bestaat uit alle nuttige Apache PIG Interview-vragen en antwoorden die u zullen helpen in een interview. U kunt ook de volgende artikelen bekijken voor meer informatie -
- Apache Pig vs Apache Hive
- Top 10 moeilijke sollicitatievragen
- 8 effectieve stappen voor te bereiden op een intern interview
- Belangrijke tips om een sollicitatiegesprek te overleven (nuttig)