Gradijentni pad je iterativni algoritam optimizacije koji se obično koristi za minimiziranje funkcije troška ili gubitka u modelima strojnog učenja. Djeluje tako da izračunava gradijent (nagib) troškovne funkcije na određenoj točki u prostoru odlučivanja i zatim poduzima korak u smjeru negativnog gradijenta (suprotan smjer najvećeg uspona). Ovaj proces se ponavlja dok se ne dosegne globalni minimum funkcije ili dok algoritam ne konvergira prema nekom drugom kriteriju zaustavljanja. Stopa učenja (veličina koraka) određuje veličinu koraka poduzetih u svakoj iteraciji i treba je odabrati pažljivo kako bi se osigurala konvergencija prema globalnom minimumu. Gradijentno spuštanje ključni je element u mnogim popularnim algoritmima strojnog učenja kao što su linearna regresija, logistička regresija i umjetne neuronske mreže.
Datum objave: