Leer het 10 beste verschil tussen Map Reduceeren versus garen

Verschil tussen kaart verkleinen en garen

Yarn staat voor Yet Another Resource Negotiator, het is het nieuwe framework voor het beheer van resources (geheugen en CPU). Het helpt ons bij het ontwikkelen van de gedistribueerde applicatie van welke aard dan ook, het biedt ons de nodige daemons en API's. Een ander belangrijk kenmerk van YARN is dat het resource-aanvragen van de toepassing afhandelt en plant en het proces helpt bij het uitvoeren van de aanvraag. YARN is een generiek platform voor elke gedistribueerde applicatie, Map Reduce versie 2 is de gedistribueerde applicatie die bovenop YARN draait, terwijl map reduce de verwerkingseenheid van Hadoop-component is, verwerkt het gegevens parallel in de gedistribueerde omgeving. Dus in principe het werken met kaarten aan een enorme gegevenscomponent verminderen, verwerkt het de gegevens en slaat het op in HDFS zodat ophalen gemakkelijker is dan traditionele opslag.

Head to Head-vergelijking tussen MapReduce vs Yarn (Infographics)

Hieronder vindt u de Top 10-vergelijking tussen de MapReduce vs Yarn

Belangrijkste verschil tussen Map Reduceeren versus garen

In Hadoop 1 heeft het twee componenten, de eerste is HDFS (Hadoop Distributed File System) en de tweede is Map Reduce. Terwijl het in Hadoop 2 ook twee componenten HDFS en YARN / MRv2 heeft (we noemen YARN meestal als Map verkleinen versie 2).
In Map Reduce, wanneer Map-reduce stopt met werken, stopt automatisch al zijn slave-knooppunt met werken. Dit is het enige scenario waarbij de uitvoering van de taak kan worden onderbroken en het wordt een single point of failure genoemd. YARN overwint dit probleem vanwege de architectuur, YARN heeft het concept van actieve naamknooppunt en standby-naamknooppunt. Wanneer het actieve knooppunt enige tijd stopt met werken, begint het passieve knooppunt te werken als actief knooppunt en gaat u door met de uitvoering.
Map verkleinen heeft single master en multiple slave-architectuur. Als master-slave naar beneden gaat, stopt de hele slave met werken. Dit is het enige foutpunt in HADOOP1, terwijl HADOOP2, gebaseerd op YARN-architectuur, het concept heeft van multiple master en slave, als een master naar beneden gaat, zal een andere master zijn proces hervatten en doorgaan met de uitvoering.
Zoals we in het onderstaande diagram kunnen zien, is het verschil in beide ecosystemen HADOOP1 en HADOOP2. Componentgewijs werkt YARN Resource Management samen met Map-reduce en HDFS.

Dus eigenlijk is YARN verantwoordelijk voor resource management, wat betekent dat de taak wordt uitgevoerd door welk systeem door YARN wordt bepaald, terwijl map verkleinen een programmeerraamwerk is dat verantwoordelijk is voor het uitvoeren van een bepaalde taak, dus in principe heeft map-reduce twee componenten mapper en reducer voor uitvoering van een programma.

Verminder in Map elke dataknoop afzonderlijk, terwijl in Garen elke dataknoop wordt uitgevoerd door een node manager.
Map vermindert het gebruik van Job-tracker om een taak aan task-tracker te maken en toe te wijzen vanwege gegevens, het beheer van de resource is niet indrukwekkend, omdat sommige dataknooppunten inactief blijven en nutteloos zijn, terwijl in YARN een Resource Manager voor elke cluster en op elk gegevensknooppunt wordt een knooppuntbeheer uitgevoerd. Voor elke taak zal een slavenknooppunt fungeren als de applicatiemaster en middelen / taken controleren.

Vergelijkingstabel MapReduce versus Yarn

Basis voor vergelijking	GAREN	Kaart verkleinen
Betekenis	YARN staat voor Yet Another Resource Negotiator.	Map verkleinen is zelf gedefinieerd.
Versie	Introduceer in Hadoop 2.0	Introduceer in Hadoop 1.0
Verantwoordelijkheid	Nu is YARN verantwoordelijk voor het onderdeel Resource management.	Eerder was Map reduce verantwoordelijk voor Resource Management en gegevensverwerking
Uitvoeringsmodel	Het garenuitvoeringsmodel is meer generiek in vergelijking met Map verkleinen	Minder generiek in vergelijking met YARN.
Toepassing uitvoeren	YARN kan ook die applicaties uitvoeren die het Map Reduce-model niet volgen	Map Reduce kan zijn eigen modelgebaseerde applicatie uitvoeren.
architectuur	YARN wordt geïntroduceerd in MR2 bovenop job tracker en task tracker. In de plaats van job tracker en task tracker Application komt de master in beeld.	In de eerdere versie van MR1 is YARN er niet In de plaats van YARN was job tracker en task tracker aanwezig die helpen bij het uitvoeren van een applicatie of jobs
Flexibiliteit	YARN is meer geïsoleerd en schaalbaar	Minder schaalbaar in vergelijking met YARN.
daemons	YARN heeft Name Node, Data node, secundaire Name node, Resource Manager en Node Manager.	Map Reduce heeft Name node, Data node, Secondary Name node, job tracker en task tracker.
Beperking	Er is geen concept van single point of failure in YARN omdat het meerdere Masters heeft, dus als er een mislukt wordt, zal een andere master het oppakken en de uitvoering hervatten.	Single point of failure, laag gebruik van bronnen (max. 4200 clusters door YAHOO) en minder schaalbaarheid in vergelijking met YARN
Grootte	Standaard is de grootte van een gegevensknooppunt in YARN 128 MB	Standaard is de grootte van een dataknooppunt in Map verkleinen 64 MB.

Conclusie - MapReduce vs Yarn

In Hadoop 1, gebaseerd op Map Reduce, hebben verschillende problemen die in Hadoop 2 met Garen zijn opgelost. Net als in Hadoop is 1 job-tracker verantwoordelijk voor resource management, maar YARN heeft het concept van resource manager en node manager die resource management zal nemen. Map verkleinen heeft een enkel punt van mislukking, dat wil zeggen, Job Tracker. Als Job Tracker niet meer werkt, moeten we onze hele cluster opnieuw opstarten en onze taak opnieuw uitvoeren vanaf Initial. In een echt scenario wil geen van de organisaties dit soort risico's nemen, vooral niet in een bankverdedigingssector. Een dergelijke organisatie die werkt aan het stroomlijnen van gegevens is niet klaar om dit soort risico's te nemen. Voor enkele minuten gaan ze hun gegevens verliezen en hebben ze mogelijk een kritieke zakelijke impact. Dus YARN heeft een beter resultaat dan Map-verkleinen.

Aanbevolen artikel

Dit is een leidraad geweest voor MapReduce vs Yarn, hun betekenis, vergelijking van kop tot kop, belangrijkste verschillen, vergelijkingstabel en conclusie. U kunt ook de volgende artikelen bekijken voor meer informatie -