Coborârea gradientului este un algoritm de optimizare iterativ care este utilizat în mod obișnuit pentru a minimiza o funcție de cost sau pierdere în modelele de învățare automată. Funcționează prin calcularea pantei (panta) a funcției de cost într-un anumit punct din spațiul de decizie și apoi făcând un pas în direcția gradientului negativ (direcția opusă celei mai abrupte ascensiuni). Acest proces se repetă până când se atinge un minim global al funcției sau până când algoritmul converge către un alt criteriu de oprire. Rata de învățare (dimensiunea pasului) determină dimensiunea pașilor făcuți în fiecare iterație și ar trebui aleasă cu atenție pentru a asigura convergența la minimul global. Coborârea gradientului este un element cheie în mulți algoritmi populari de învățare automată, cum ar fi regresia liniară, regresia logistică și rețelele neuronale artificiale.
Data publicării: