La descente de gradient est un algorithme d'optimisation itératif couramment utilisé pour minimiser une fonction de coût ou de perte dans les modèles d'apprentissage automatique. Cela fonctionne en calculant le gradient (pente) de la fonction de coût en un point particulier de l'espace de décision, puis en faisant un pas dans la direction du gradient négatif (sens opposé de la montée la plus raide). Ce processus est répété jusqu'à ce qu'un minimum global de la fonction soit atteint, ou jusqu'à ce que l'algorithme converge vers un autre critère d'arrêt. Le taux d'apprentissage (taille du pas) détermine la taille des pas effectués à chaque itération, et il doit être choisi avec soin pour assurer la convergence vers le minimum global. La descente de gradient est un élément clé de nombreux algorithmes d'apprentissage automatique populaires tels que la régression linéaire, la régression logistique et les réseaux de neurones artificiels.
Date de publication: