Μια μέθοδος βελτιστοποίησης που βασίζεται σε κλίση είναι ένας τύπος αλγορίθμου που χρησιμοποιείται για την εύρεση του ελάχιστου ή του μέγιστου μιας συνάρτησης προσαρμόζοντας επαναληπτικά τις παραμέτρους με τρόπο που μειώνει την τιμή της συνάρτησης. Ο αλγόριθμος υπολογίζει τη διαβάθμιση της συνάρτησης σε ένα συγκεκριμένο σημείο του χώρου παραμέτρων και τη χρησιμοποιεί για να προσδιορίσει την κατεύθυνση στην οποία η συνάρτηση είναι πιο απότομη. Στη συνέχεια, ο αλγόριθμος προσαρμόζει τις τιμές των παραμέτρων προς αυτή την κατεύθυνση για να προσπαθήσει να βρει ένα ελάχιστο ή μέγιστο της συνάρτησης. Η κλίση μπορεί να εκτιμηθεί χρησιμοποιώντας αριθμητική διαφοροποίηση ή η αναλυτική κλίση μπορεί να υπολογιστεί απευθείας εάν είναι διαθέσιμη. Οι μέθοδοι βελτιστοποίησης που βασίζονται σε κλίση χρησιμοποιούνται ευρέως στη μηχανική μάθηση και σε άλλα προβλήματα βελτιστοποίησης, όπως στη βαθιά μάθηση, όπου χρησιμοποιούνται για την εύρεση των βέλτιστων βαρών και προκαταλήψεων για νευρωνικά δίκτυα.
Ημερομηνία έκδοσης: