Metoda optimizacije temeljena na gradijentu vrsta je algoritma koji se koristi za pronalaženje minimuma ili maksimuma funkcije iterativnim prilagođavanjem parametara na način koji smanjuje vrijednost funkcije. Algoritam izračunava gradijent funkcije na određenoj točki u prostoru parametara i koristi ga za određivanje smjera u kojem je funkcija najstrmija. Algoritam zatim prilagođava vrijednosti parametara u tom smjeru kako bi pokušao pronaći minimum ili maksimum funkcije. Gradijent se može procijeniti pomoću numeričke diferencijacije ili se analitički gradijent može izračunati izravno ako je dostupan. Metode optimizacije temeljene na gradijentu naširoko se koriste u strojnom učenju i drugim problemima optimizacije, kao što je dubinsko učenje gdje se koriste za pronalaženje optimalnih težina i pristranosti za neuronske mreže.
Datum objave: