Overzicht van machine learning van Hyperparameter
Voor elk model hebben we enkele parameters nodig, die helpen bij het bieden van een basis voor de oplossing van probleem / analyse en evaluatie van het model. Sommige van deze parameters moeten worden geleerd van de gegevens en sommige moeten we expliciet definiëren. De parameters die van de gegevens kunnen worden geleerd zonder expliciet te worden gedefinieerd, worden modelparameters genoemd. De parameter die expliciet door de gebruiker wordt gedefinieerd, wordt Hyperparameters genoemd. Hyperparameters zijn ook alleen modelparameters, maar de term hyperparameters wordt gebruikt in machine learning, zodat ze gemakkelijk kunnen worden onderscheiden en niet moeten worden verward met modelparameters die worden geleerd uit de gegevensset.
Wat is Hyperparameter Machine Learning?
Voor de meeste frameworks in machine learning hebben hyperparameters geen strikte definitie. Deze hyperparameters bepalen het onderliggende systeem van een model dat de primaire (modale) parameters van het model stuurt. Laten we proberen de hyperparameters te begrijpen met het volgende voorbeeld.
- Het stemmen van je viool is erg cruciaal wanneer je in de leerfase bent, omdat je op dat moment verbindingen tussen verschillende zintuigen creëert. Oren, vingers en ogen leren allemaal tegelijkertijd de viool. Nu In het begin Wennen aan het geluid van de viool uit toon creëert een slechte smaak van geluid, die iemands hele ervaring van verliefd worden op het vioolleerproces zal bederven.
- Dat is de reden waarom het stemmen van viool iemand echt kan helpen bij het leren van de viool. Op dezelfde manier is hyperparameter een soort afstemming voor het Machine Learning-model om de juiste richting te geven.
- Hyperparameters worden meestal gedefinieerd voordat een machine-learning-algoritme op een gegevensset wordt toegepast.
- Nu is de volgende taak wat de hyperparameter moet zijn en wat de waarde ervan moet zijn. Omdat men moet weten welke snaren nodig zijn om te stemmen en hoe de viool moet worden gestemd voordat deze wordt gestemd. Hetzelfde geldt voor hyperparameters, we moeten definiëren welke hyperparameters en wat de waarde ervan moet zijn, in principe hangt het af van elke taak en elke gegevensset.
- Om dit te begrijpen, nemen we het perspectief van modeloptimalisatie.
- Bij de implementatie van het machine learning-model speelt modeloptimalisatie een cruciale rol. Er zijn een groot aantal takken van machine learning die uitsluitend gewijd zijn aan de optimalisatie van het machine learning-model. Over het algemeen wordt aangenomen dat om het model te optimaliseren, we de code moeten aanpassen zodat de fout kan worden geminimaliseerd.
- Er zijn echter verborgen elementen die van invloed zijn op de optimalisatie van machine learning die buiten het model vallen en die een grote invloed hebben op het gedrag van het model. Deze verborgen elementen worden hyperparameters genoemd, dit zijn cruciale componenten voor de optimalisatie van elk model voor machine learning.
- Hyperparameters zijn fijne tuners / instellingen die het gedrag van een model regelen. Deze hyperparameters worden buiten het model gedefinieerd, maar hebben een directe relatie met de modelprestaties. Hyperparameters kunnen worden beschouwd als orthogonaal voor het model.
- De criteria voor het definiëren van een hyperparameter zijn zeer flexibel en abstract. Natuurlijk zijn er enkele hyperparameters zoals het aantal verborgen lagen, de leersnelheid van een model die goed zijn vastgesteld en ook zijn er enkele instellingen die kunnen worden behandeld als hyperparameter voor een specifiek model, zoals het regelen van de capaciteit van het model.
- Er zijn kansen dat het algoritme een model overstijgt als algoritmen rechtstreeks leren via instellingen. Het is duidelijk dat hyperparameters niet worden geleerd / afgestemd via een trainingsset, dus test of validatieset wordt gebruikt voor de selectie van hyperparameters. In het algemeen stellen we verschillende hyperparameterwaarden in, degene die het beste werkt met een test of validatieset wordt beschouwd als onze beste hyperparameter.
Categorieën van hyperparameter
Voor verschillende soorten datasets en volgens het model kunnen we verschillende hyperparameters hebben om de prestaties van het model te verbeteren. In grote lijnen kunnen de hyperparameters worden onderverdeeld in twee categorieën.
- Hyperparameter voor optimalisatie
- Hyperparameters voor specifieke modellen
Laten we elk van deze bespreken.
1. Hyperparameters voor optimalisatie
Zoals de naam al doet vermoeden, worden deze hyperparameters gebruikt voor de optimalisatie van het model.
- Leersnelheid
Deze hyperparameter bepaalt hoeveel de nieuw verkregen gegevens de oude beschikbare gegevens overschrijven. Als de waarde van deze hyperparameter hoog is, zal een hoger leerpercentage het model niet goed optimaliseren, omdat er kansen zijn dat het over de minima springt. Aan de andere kant, als het leerpercentage minder wordt genomen, zal de convergentie erg langzaam zijn.
De leersnelheid speelt een cruciale rol bij de optimalisatie van de modelprestaties, omdat modellen in sommige gevallen honderden parameters (modelparameters) met foutcurve hebben, de leersnelheid bepaalt de frequentie van kruiscontrole met alle parameters. Het is ook moeilijk om de lokale minima van foutcurves te vinden, omdat deze over het algemeen onregelmatige curves hebben.
- Seriegrootte
Om het leerproces te versnellen, is de trainingsset verdeeld in verschillende batches. In het geval van een stochastische procedure voor het trainen van het model, wordt een kleine batch getraind, geëvalueerd en teruggepropageerd om de waarden van al uw hyperparameters aan te passen, dit wordt herhaald voor de hele trainingsset.
Als de batch groter is, neemt de leertijd toe en is er meer geheugen nodig om de matrix te vermenigvuldigen. Als de batchgrootte kleiner is dan zal er meer ruis zijn in de foutberekening.
- Aantal tijdvakken
Epoch vertegenwoordigt een complete cyclus waarin gegevens kunnen worden geleerd in Machine Learning. Tijdvakken spelen een zeer belangrijke rol in het iteratieve leerproces.
Een validatiefout wordt overwogen voor het bepalen van het juiste aantal tijdvakken. Men kan het aantal tijdvakken verhogen zolang er een vermindering van een validatiefout is. Als de validatiefout niet verbetert voor opeenvolgende tijdvakken, is dit een signaal om een toenemend aantal tijdvakken te stoppen. Het staat ook bekend als vroeg stoppen.
2. Hyperparameters voor specifieke modellen
Sommige hyperparameters zijn betrokken bij de structuur van het model zelf. Sommige hiervan zijn als volgt.
- Aantal verborgen eenheden
Het is van vitaal belang om een aantal verborgen eenheden voor neurale netwerken in diepgaande leermodellen te definiëren. Deze hyperparameter wordt gebruikt om het leervermogen van het model te definiëren. voor complexe functies moeten we een aantal verborgen eenheden definiëren, maar houd er rekening mee dat dit niet het model moet passen.
- Aantal lagen
Het is duidelijk dat een neuraal netwerk met 3 lagen betere prestaties zal geven dan dat van 2 lagen. Meer dan 3 verhogen helpt niet zoveel in neurale netwerken. In het geval van CNN maakt een toenemend aantal lagen het model beter.
Conclusie
Hyperparameters worden expliciet gedefinieerd voordat een machine-learning-algoritme op een gegevensset wordt toegepast. Hyperparameters worden gebruikt om de complexiteit op een hoger niveau van het model en het leervermogen te definiëren. Hyperparameters kunnen ook instellingen voor het model zijn. Sommige hyperparameters zijn gedefinieerd voor optimalisatie van de modellen (Batchgrootte, leersnelheid, etc.) en sommige zijn specifiek voor de modellen (aantal verborgen lagen, enz.).
Aanbevolen artikelen
Dit is een handleiding voor machine learning van Hyperparameter. Hier bespreken we het overzicht en wat is hyperparameter machine learning met zijn categorieën. U kunt ook de volgende artikelen bekijken voor meer informatie -
- Inleiding tot machinaal leren
- Machinaal leren zonder toezicht
- Soorten algoritmen voor machine learning
- Toepassingen van Machine Learning
- Implementatie van neurale netwerken
- Top 6 Vergelijkingen tussen CNN en RNN