En gradientbasert optimaliseringsmetode er en type algoritme som brukes til å finne minimum eller maksimum av en funksjon ved å iterativt justere parametrene på en måte som reduserer funksjonens verdi. Algoritmen beregner funksjonens gradient på et bestemt punkt i parameterrommet og bruker den til å bestemme retningen funksjonen er brattest i. Algoritmen justerer deretter parameterverdiene i den retningen for å prøve å finne et minimum eller maksimum av funksjonen. Gradienten kan estimeres ved hjelp av numerisk differensiering, eller den analytiske gradienten kan beregnes direkte hvis tilgjengelig. Gradientbaserte optimaliseringsmetoder er mye brukt i maskinlæring og andre optimaliseringsproblemer, for eksempel i dyp læring hvor de brukes til å finne de optimale vektene og skjevhetene for nevrale nettverk.
Publiseringsdato: