Carrière in Hadoop - Introductie
Hadoop is geen louter raamwerk in de Big Data-wereld. Het heeft een breed ecosysteem met een paraplu van gerelateerde technologieën. Om dezelfde reden is een carrière in Hadoop veelbelovend. Als je de grondbeginselen van Hadoop goed begrijpt, wordt het een basis voor een geweldige carrière in Hadoop.
Opleiding tot loopbaan in Hadoop
Net als veel opkomende datatechnologieën vereist Hadoop geen specifieke educatieve achtergrond als zodanig. Ongeveer de helft van de Hadoop-ontwikkelaars heeft een niet-informatica-achtergrond, zoals statistiek of natuurkunde. Het is dus duidelijk dat de achtergrond geen belemmering vormt voor het betreden van de wereld van Hadoop, mits je klaar bent om de basis te leren. Er zijn goede online cursussen over Hadoop - die van eduCBA is het beste voorbeeld - master-apache-Hadoop
Als u verder wilt gaan naar een specifiek gebied van Hadoop-clusterbeheer of datamodellering in Hive-materialen over elk specifiek onderwerp dat beschikbaar is als online cursussen en handboeken. Meestal worden Hadoop-clusters opgezet in een cloudleverancier zoals AWS of Azure. Zorg dat u bekend raakt met elke cloudleverancier van uw keuze. Hadoop-service van AWS heet EMR.
Populaire specialisatie omvat:
- Spark - Schaalbare engine voor gegevensverwerking in het geheugen
- HBase - Geen SQL-database bovenop HDFS
- Beam - Streaming eerste benadering dataverwerking
- Varken - Datatransformatie (ETL) scripting
- Hive - Gegevensopslag
- Mahout, Spark MLlib - Schaalbaar machinaal leren op Hadoop
- Apache Drill - SQL-engine op Hadoop
- Flume, Sqoop - Data-inname-services
- Solr & Lucene - Zoeken en indexeren
Carrièrepad in Hadoop
Volgens de resultaten van Stack Overflow Survey 2017 is Hadoop toonaangevend in het populairste en meest geliefde framework in Big Data-ruimte (Survey Link). Dit is alleen mogelijk omdat mensen vanuit een ander IT-perspectief Hadoop een potentieel carrièrepad vonden en willen overstappen.
Wat uw huidige IT-rol ook is, er is een gemakkelijk aanpasbare overstap naar een carrière in de Hadoop-wereld. Enkele populaire voorbeelden -
- Software Developer (Programmer) -> Hadoop Data Developer die zich bezighoudt met verschillende Hadoop abstractie SDK's en waarde aan data ontleent.
- Data-analist -> U bent dus bedreven in SQL. Enorme mogelijkheid in Hadoop om te werken aan SQL-engines zoals Hive of Impala
- Business Analyst -> Organisaties die winstgevender willen worden met behulp van massaal verzamelde gegevens, en de rol voor een business analist is hierbij cruciaal.
- ETL-ontwikkelaar -> Als u werkt als een traditionele ETL-ontwikkelaar, kunt u eenvoudig overstappen op Hadoop ETL met tools zoals Spark.
- Testers -> Er is een enorme vraag naar testers in de Hadoop-wereld. Door de basisprincipes van Hadoop en gegevensprofilering te begrijpen, kunnen testers op deze rol overschakelen.
- BI / DW-beroepen -> Kan eenvoudig overschakelen van Hadoop Data-architecten naar Data-modellering.
- Senior IT-professionals -> Met een diepgaand begrip van het domein en bestaande uitdagingen in de datawereld kan een senior professional consultant worden door kennis te vergaren over hoe Hadoop deze uitdagingen probeert op te lossen.
- Er zijn generieke rollen zoals Data Engineers of Big Data Engineering die verantwoordelijk is voor het implementeren van oplossingen meestal bovenop Cloud-leveranciers. Door kennis te vergaren over gegevenscomponenten die de cloud biedt, wordt dit een veelbelovende rol.
Taakposities
Het ecosysteem van Hadoop biedt een gevarieerd carrièrepad
- MapReduce Developer - Dit is eigenlijk een Java-ontwikkelaarsrol die ook begrijpt hoe Hadoop-systemen intern werken. Er is een abstractie zoals bijenkorf of varken beschikbaar, maar MapReduce-taken zijn nodig voor goed presterende systemen. MapReduce-ontwikkelaars zijn degene die een systeem in en uit begrijpt en echt hoog betaald.
- Hadoop-beheerders - Dit zijn mensen die verantwoordelijk zijn voor het gezond en presteren van het Hadoop-cluster. Dit kunnen typische beheertaken zijn, zoals regelmatige systeemcontroles, maar de meeste taken die nodig zijn voor het begrijpen van Hadoop-systeemarchitectuur.
- Devops - Implementeer nieuwe systeemcomponenten en andere ontwikkelingsgerelateerde wijzigingen in het Hadoop-cluster. De verantwoordelijkheid voor deze rol varieert sterk en is afhankelijk van de cultuur van een organisatie.
- Data Developer - Gegevensverwerking bovenop Hadoop. Dit is een van de meest populaire rollen in het Hadoop-ecosysteem. Mensen met SQL- of analyse-achtergrond zijn het best geschikt voor deze rollen. Meestal werken op een abstractie op hoog niveau van Hadoop zoals Hive of Pig.
- Gegevensbeveiliging admin - Gegevens zijn de meest waardevolle activa en beveiliging is het belangrijkste. Beveiligingsbeheerders zorgen voor standaardbeleidsregels en best practices om gegevens te beschermen, met een begripsbeperking van een systeem
- Datavisualisator - Behandel visualisatietools van de volgende generatie die dynamische datasegmentatie en aggregatie met data-caching in het geheugen mogelijk maken
- ETL Developer - Transformeer gegevens voor verbetering van de gegevenskwaliteit of volgens bedrijfslogica met behulp van Hadoop-ecosysteemtools. ETL-proces kan streaming of batch zijn.
- Systeemarchitect - ontwerp hoogwaardige systemen op basis van gegevensbeschikbaarheid en duurzaamheid op een kosteneffectieve manier. Hangt sterk af van de hardwareprovider.
- Data Architect - Afgezien van het traditionele logische / fysieke ontwerp van gegevens, zijn veel dingen zoals kolomcodering, denormalisatie, partitioneringontwerp enz. Een verantwoordelijkheid van de gegevensarchitect.
Aanbevolen cursussen
- Online XML- en Java-training
- Node.JS cursussen
- Silverlight Trainingscursus
- Ember.JS-programma
Salaris
Een gemiddeld salaris van een softwareontwikkelaar in de VS is $ 90.956 per jaar, terwijl het gemiddelde salaris van Hadoop-ontwikkelaar een veel hoger is - $ 118, 234 per jaar (volgens Indeed.com - inderdaad.com)
Salarissen van Hadoop-ontwikkelaar in topbedrijven in de VS (Ref: indeed.com)
| appel | $ 147.573 per jaar |
| Wipro | $ 110.553 per jaar |
| HERO.jobs | $ 158.715 per jaar |
| MBCAA | $ 133.422 per jaar |
| Ventures Unlimited Inc | $ 130.000 per jaar |
| Nityo Infotech Services Pvt. Ltd. | $ 128.633 per jaar |
| NOORDELIJKE STERREN | $ 126, 370 per jaar |
| PRI-technologie | $ 121, 396 per jaar |
| NITYO INFOTECH | $ 116.909 per jaar |
| HortonWorks, Inc | $ 110.710 per jaar |
Carrière vooruitzichten
Het ecosysteem van Hadoop loopt sterk uiteen om te voldoen aan een verandering in de bedrijfsbehoeften. Naarmate de gegenereerde gegevens exponentieel toenemen en steeds meer organisaties gegevensgestuurd worden, zal de relevantie van het Hadoop-systeem alleen maar toenemen.
Enkele opmerkelijke trends:
- Schakel over van batchverwerking naar de eerste benadering van gegevensverwerking met Spark and Beam
- Meer realtime machine learning-model toegepast op realtime gegevens met Spark ML
- Ontkoppelde SQL-engines van gegevensopslag zoals Presto bovenop S3 voor ad-hocanalyse bovenop datameer.
- Zuilvormige MPP-databases zoals AWS Redshift voor snelle gegevenstoegang
Aangezien een fundamenteel aspect van Big Data-verwerking ligt in fouttolerante gedistribueerde en horizontaal schaalbare systemen, die goed door Hadoop is geïmplementeerd, zal Hadoop blijven bestaan als een toonaangevend ecosysteem voor gegevensverwerking.
Aanbevolen artikel
Dit is een gids voor carrière in Hadoop geweest. Hier hebben we de introductie, opleiding, loopbaanpad in Hadoop, salaris en loopbaanperspectief in Hadoop besproken. u kunt ook het volgende artikel bekijken voor meer informatie -
- Azure Paas vs Iaas en hun nuttige voordelen
- Ontdek de verschillen tussen Java en Node JS
- Beste deskundig advies over carrières in mainframe
- Carrières in SQL
- Handige carrières als software-ingenieur
- Hadoop-beheerder | Vaardigheden & carrièrepad