Metoda optimizacije temeljena na gradijentu je tehnika koja se koristi u strojnom učenju i umjetnoj inteligenciji za minimiziranje ili maksimiziranje objektivne funkcije. Koristi gradijent (vektor koji pokazuje u smjeru najvećeg uspona funkcije) za iterativno ažuriranje parametara modela dok se funkcija cilja ne optimizira. Najčešće korištena metoda optimizacije temeljena na gradijentu naziva se stohastički gradijentni pad (SGD), koji ažurira parametre modela na temelju gradijenta nasumičnog podskupa podataka za obuku, što ga čini računalno učinkovitim za velike skupove podataka. Druge metode optimizacije temeljene na gradijentu uključuju Adam, RMSprop i Adagrad, koje prilagođavaju stope učenja za svaki parametar na temelju njegovih prošlih gradijena kako bi se poboljšala brzina konvergencije i izbjegle oscilacije.
Datum objave: