Inleiding tot Data Science Machine Learning
Gegevens zijn in feite informatie, met name feiten of cijfers, verzameld om te worden onderzocht en overwogen en gebruikt om besluitvorming of informatie in een elektronische vorm te helpen die kan worden opgeslagen en gebruikt door een computer. Nu zullen we de definitie van Data Science en Machine Learning leren.
Data Science (DS) : Het is een zeer breed veld waar verschillende technieken zoals statistische methoden, wetenschappelijke benaderingen, architecturale processen, verschillende algoritmen worden gebruikt om inzichtelijke informatie te extraheren uit beschikbare gegevens die gestructureerde gegevens of ongestructureerde gegevens kunnen zijn.
Machine Learning ( ML ): het is een subset van Data Science. In machine learning, in principe met behulp van statistische modellen en verschillende algoritmen, worden machines getraind zonder expliciete instructies te geven, en steunt het op patronen die met data zijn gecreëerd. ”
Het belang van data science
- We leven in een tijdperk van technologie, waarbij elke persoon op de een of andere manier technologie gebruikt voor comfort / effectiviteit / gemak, bijvoorbeeld voor mobiele telefoons / laptops / tablets voor communicatie, auto's / treinen / bussen / vliegtuigen voor transport, diensten zoals bankieren / elektriciteit en nog veel meer voor het gemak van het leven.
- Bij elke gelegenheid maken we gegevens bewust of onbewust zoals oproeplogboeken / teksten / sociale media - afbeeldingen / video's / blogs maken allemaal deel uit van gegevens, met transport onze navigatie naar verschillende locaties door GPS / prestaties van voertuig opgenomen via ECU is ook onderdeel van data. Onze transacties in bank- en mobiele portefeuilles creëren een enorme hoeveelheid gegevens, elektriciteitsverbruik per gebied of sector is ook een onderdeel van gegevens.
- En om te zeggen dat deze gegevens dag na dag of van minuut tot minuut exponentieel toenemen.
- Nu rijst de vraag, kunnen we iets doen met deze gegevens? Kunnen we deze gegevens gebruiken om nuttige inzichten te verschaffen? Kunnen we de effectiviteit vergroten? Kunnen we deze gegevens gebruiken om toekomstige resultaten te voorspellen?
- Om al deze vragen te beantwoorden, hebben we een veld met de naam data science.
- Data Science kan worden beschouwd als een breed veld dat data mining, data engineering, data visualisatie, data-integratie statistische methoden, R / python / SQL-programmering, machine learning, Big data en meer omvat.
Laten we nu de belangrijke concepten van data science begrijpen.
1. Data-engineering
Data engineering is een van de aspecten van data science die zich vooral richt op toepassingen van data, dataverzameling en data-analyse. Al het werk dat datawetenschappers doen, zoals het beantwoorden van verschillende vragen met betrekking tot voorspellingen of analyses, maakt gebruik van een grote hoeveelheid informatie.
Wat ze nu nodig hebben, is juiste en nuttige informatie, waardoor er behoefte is aan het verzamelen en valideren van de beschikbare informatie. Deze maken allemaal deel uit van engineeringstaken. Sommige van deze taken zijn het controleren op nulwaarden (ontbrekende gegevens), het categoriseren van de gegevens (categorische gegevens), het creëren van gegevensstructuren (associatieregels), enz.
2. Gegevensvisualisatie
Gegevensvisualisatie is een grafische benadering om de gegevens weer te geven. Hier gebruiken we de ingebouwde bibliotheek van Python om visuele elementen te maken, bijvoorbeeld tabellen, correlatiediagrammen, staafdiagrammen, paarplots, etc. datavisualisatie speelt een zeer belangrijke rol bij het bieden van een zeer eenvoudige manier om de gegevens te analyseren, trends te zien en te begrijpen, figuur uitbijters, etc.
3. Statistisch inzicht
Statistieken spelen een zeer belangrijke rol op het gebied van data science. Statistieken is een zeer krachtig hulpmiddel voor het uitvoeren van de taken van Data Science (DS). Statistieken gebruiken wiskunde om technische analyse van beschikbare informatie te maken. Met visualisaties zoals een balk of een grafiek kunnen we de trendinformatie verkrijgen, maar statistieken helpen ons om de gegevens op een wiskundige manier / gerichte manier te bewerken. Zonder kennis van gegevens is wetenschapsvisualisatie slechts een gokspel.
We zullen enkele belangrijke statistische methoden bespreken die dagelijks door datawetenschappers worden gebruikt.
- Gemiddeld: Gemiddeld is in feite een gemiddelde van alle gegevens, berekend door alle gegevenselementen toe te voegen en vervolgens te delen door een aantal elementen. Wordt gebruikt voor het identificeren van de middenwaarde van alle elementen.
- Mediaan: Mediaan wordt ook gebruikt voor het vinden van de middenwaarde van de beschikbare elementen, maar hier worden alle gegevens in een volgorde gerangschikt en wordt de exacte middelste waarde als een mediaan beschouwd.
Als het aantal elementen oneven is, is de mediaan ((n + 1) / 2) de term. Als een aantal elementen even zijn, is de mediaan ((n / 2) + 1) de term.
- Modus: Modus is een statistische parameter die de meest frequente aangeeft of de waarde die het vaakst voorkomt, wordt als de modus behandeld.
- Standaardafwijking: standaardafwijking geeft aan hoeveel spread aanwezig is in gegevens of het is een meting om de spread te definiëren op basis van de gemiddelde waarden of gemiddelde waarde of verwachte waarde.
Als we een lage standaarddeviatie hebben, geeft dit aan dat de meeste gegevenswaarden de gemiddelde waarde benaderen. Als we een hoge standaarddeviatie hebben, zijn onze gegevenswaarden meer gespreid over de gemiddelde waarde.
- Variantie: variantie is hetzelfde als standaarddeviatie met een klein verschil, het is het kwadraat van standaarddeviatie. Standaarddeviatie is afgeleid van variantie omdat Standaarddeviatie spreiding in termen van gegevens toont, terwijl variantie de spreiding met een vierkant toont. Het is gemakkelijk om spreiding te correleren met behulp van variantie.
- Correlatie: Correlatie is een van de belangrijkste statistische metingen, het geeft aan hoe variabelen in de gegevensset gerelateerd zijn. Wanneer we de ene parameter wijzigen, heeft dit invloed op de andere parameter.
Als we een positieve correlatiewaarde hebben, betekent dit dat de variabelen parallel zullen toenemen of afnemen
Als we een negatieve correlatiewaarde hebben, wat betekent dat de variabelen zich omgekeerd gedragen op een toename van elkaar, zullen afnemen en omgekeerd.
In statistieken hebben we een kansverdeling, Bayesiaanse statistieken en hypothesetests die ook zeer belangrijke hulpmiddelen zijn voor een datawetenschapper.
Machine leren
Machine Learning betekent in feite een manier waarop machines output kunnen leren en produceren op basis van inputfuncties.
Definitie: "Machine learning is een vakgebied waar computer leert van beschikbare gegevens / historische gegevens zonder expliciet te worden geprogrammeerd"
In Machine learning ligt de nadruk op het automatiseren en verbeteren van het leerproces van computers op basis van hun ervaringen met invoergegevens, en we zullen de code niet expliciet programmeren voor elk type probleem, dwz machine zal uitzoeken hoe het probleem kan worden aangepakt. Hier zijn de resultaten mogelijk niet nauwkeurig, maar een goede voorspelling kan worden gedaan.
Laten we het op deze manier begrijpen:
Traditioneel worden computers gebruikt om het berekeningsproces te vergemakkelijken. dus als we een rekenkundige berekening hebben. Wat zullen we doen? We zullen één computerprogramma voorbereiden dat die operatie op een gemakkelijke en snelle manier oplost. want als we bijvoorbeeld twee entiteiten willen toevoegen, maken we één stuk softwarecode die twee ingangen gebruikt en in de uitvoer zal het een samenvatting tonen.
In de machine-leerbenadering is het anders in plaats van het voeden van een direct algoritme, er wordt een speciaal algoritme in softwarecode geplaatst dat zal proberen een patroon te herkennen en op basis van die patronen zal proberen de best mogelijke output te voorspellen. Hier coderen we geen algoritmen expliciet voor een specifieke bewerking, maar voeren we gegevens naar een machine om te leren wat het patroon is en wat de uitvoer zou kunnen zijn.
Waarom moeten we nu voor deze aanpak kiezen als we direct de exacte resultaten kunnen krijgen door het exacte algoritme te coderen? De exacte algoritmen zijn complex en beperkt. Laten we het vanuit een ander perspectief bekijken, dit is een tijdperk waarin we een overvloed aan gegevens hebben en het explodeert elke dag zoals we in de vorige sectie hebben besproken. Hier behandelen we Supervised and Unsupervised learning.
Machine learning is tegenwoordig van acuut belang omdat we een overvloed aan gegevens hebben. Om deze gegevens te begrijpen, moeten we een aantal zinvolle resultaten of een aantal zinvolle patronen hebben, die kunnen worden geanalyseerd en daadwerkelijk kunnen worden gebruikt.
Maar toch, waarom zijn we geïnteresseerd in machine learning en deze gegevens?
We weten dat de mensheid de geschiedenis gewoon opnieuw speelt alsof we dezelfde zijn als onze vorige generaties, en onze nakomelingen zullen ook verschillende situaties tegenkomen waarmee we nu worden geconfronteerd of zijn geconfronteerd. In dit stadium moeten we ons voorstellen hoe we met historische gegevens voor de toekomst moeten reageren.
Dus nu weten we dat gegevens een zeer waardevol bezit zijn.
De uitdaging is hoe we deze beschikbare gegevens het beste kunnen gebruiken?
Dit is het meest interessante onderwerp (hoe?), Waar we de beschikbare gegevens gaan begrijpen. Er zijn in principe 3 benaderingen voor machine learning:
- Leren onder toezicht
- Leren zonder toezicht
- Versterking leren
Deze drie benaderingen worden gebruikt voor het maken van een machine-leermodel zoals (lineaire regressie, logistieke regressie, willekeurig bos, beslissingsbomen, enz.).
Er zijn veel verschillende toepassingen van deze machine learning-modellen, bijvoorbeeld:
- Financiën: fraudedetectie
- Marketing / verkoop: personaliseer de aanbeveling
- Gezondheidszorg: identificeer de trend van de ziekte.
Conclusie - Data Science Machine Learning
- Data Science is een breed veld waarvan machine learning een subset is. Hierin analyseren we de historische gegevens die bij ons beschikbaar zijn en proberen we de meest waarschijnlijke toekomstige resultaten te voorspellen.
- Om te voorspellen moeten we de gegevens opschonen, de gegevens ordenen (data engineering). Met gegevens in de hand visualiseren we het patroon / trends en vervolgens met statistisch inzicht, leiden we inzichtelijke informatie af.
- Deze gegevens worden met behulp van een Machine learning-algoritme naar een machine gevoerd.
- Deze algoritmen trainen de machine en creëren één machine-leermodel.
- Dit model kan vervolgens worden gebruikt voor voorspelling.
Aanbevolen artikelen
Dit is een gids voor Data Science Machine Learning. Hier bespreken we het belang van data science samen met machine learning. U kunt ook de volgende artikelen bekijken voor meer informatie -
- Beste data science-programma's
- Data Science-vaardigheden
- Data Science-talen
- Technieken voor machinaal leren
- Wat is data-integratie?
- Hoe het staafdiagram wordt gebruikt in Matlab (voorbeelden)
- Beslisboom in machinaal leren
- Eenvoudige manieren om beslisboom te maken