روش بهینه‌سازی مبتنی بر گرادیان نوعی الگوریتم است که برای یافتن حداقل یا حداکثر یک تابع با تنظیم مکرر پارامترها به گونه‌ای که مقدار تابع را کاهش می‌دهد، استفاده می‌شود. این الگوریتم گرادیان تابع را در یک نقطه خاص در فضای پارامتر محاسبه می کند و از آن برای تعیین جهتی که تابع در آن شیب دار است استفاده می کند. سپس الگوریتم مقادیر پارامتر را در آن جهت تنظیم می کند تا حداقل یا حداکثر تابع را بیابد. گرادیان ممکن است با استفاده از تمایز عددی تخمین زده شود یا در صورت وجود، گرادیان تحلیلی مستقیماً محاسبه شود. روش‌های بهینه‌سازی مبتنی بر گرادیان به طور گسترده در یادگیری ماشین و سایر مسائل بهینه‌سازی استفاده می‌شوند، مانند یادگیری عمیق که در آن برای یافتن وزن‌ها و بایاس‌های بهینه برای شبکه‌های عصبی استفاده می‌شود.
تاریخ انتشار: