Gradienttipohjainen optimointimenetelmä on eräänlainen algoritmi, jota käytetään etsimään funktion minimi- tai maksimiarvo säätämällä parametreja iteratiivisesti tavalla, joka pienentää funktion arvoa. Algoritmi laskee funktion gradientin tietyssä parametriavaruuden kohdassa ja määrittää sen avulla funktion jyrkimmän suunnan. Algoritmi säätää sitten parametriarvoja tähän suuntaan yrittääkseen löytää funktion minimi- tai maksimiarvon. Gradientti voidaan arvioida käyttämällä numeerista differentiaatiota tai analyyttinen gradientti voidaan laskea suoraan, jos sellainen on saatavilla. Gradienttipohjaisia optimointimenetelmiä käytetään laajalti koneoppimisessa ja muissa optimointiongelmissa, kuten syväoppimisessa, jossa niitä käytetään löytämään optimaaliset painot ja poikkeamat hermoverkkoille.
Julkaisupäivämäärä: