Gradient descent er en iterativ optimeringsalgoritme, der almindeligvis bruges til at minimere en omkostnings- eller tabsfunktion i maskinlæringsmodeller. Det fungerer ved at beregne gradienten (hældningen) af omkostningsfunktionen på et bestemt punkt i beslutningsrummet og derefter tage et skridt i retning af den negative gradient (modsat retning af den stejleste stigning). Denne proces gentages, indtil et globalt minimum af funktionen er nået, eller indtil algoritmen konvergerer til et andet stopkriterium. Læringshastigheden (trinstørrelsen) bestemmer størrelsen af de trin, der tages i hver iteration, og den bør vælges omhyggeligt for at sikre konvergens til det globale minimum. Gradient descent er et nøgleelement i mange populære maskinlæringsalgoritmer såsom lineær regression, logistisk regression og kunstige neurale netværk.
Udgivelsesdato: