Gradient descent är en iterativ optimeringsalgoritm som vanligtvis används för att minimera en kostnads- eller förlustfunktion i maskininlärningsmodeller. Det fungerar genom att beräkna gradienten (lutningen) för kostnadsfunktionen vid en viss punkt i beslutsutrymmet och sedan ta ett steg i riktning mot den negativa gradienten (motsatt riktning mot den brantaste stigningen). Denna process upprepas tills ett globalt minimum av funktionen uppnås, eller tills algoritmen konvergerar till något annat stoppkriterium. Inlärningshastigheten (stegstorleken) bestämmer storleken på de steg som tas i varje iteration, och den bör väljas noggrant för att säkerställa konvergens till det globala minimumet. Gradientnedstigning är ett nyckelelement i många populära maskininlärningsalgoritmer som linjär regression, logistisk regression och artificiella neurala nätverk.
Publiceringsdatum: