روش بهینه‌سازی مبتنی بر گرادیان تکنیکی است که در یادگیری ماشین و هوش مصنوعی برای به حداقل رساندن یا به حداکثر رساندن یک تابع هدف استفاده می‌شود. از گرادیان (برداری که در جهت تندترین صعود یک تابع اشاره می کند) برای به روز رسانی مکرر پارامترهای یک مدل تا زمانی که تابع هدف بهینه شود، استفاده می کند. متداول‌ترین روش بهینه‌سازی مبتنی بر گرادیان، نزول گرادیان تصادفی (SGD) نام دارد که پارامترهای مدل را بر اساس گرادیان یک زیرمجموعه تصادفی از داده‌های آموزشی به‌روزرسانی می‌کند و از نظر محاسباتی برای مجموعه‌های داده بزرگ کارآمد می‌کند. سایر روش‌های بهینه‌سازی مبتنی بر گرادیان عبارتند از Adam، RMSprop و Adagrad که نرخ‌های یادگیری را برای هر پارامتر بر اساس گرادیان‌های گذشته آن تنظیم می‌کنند تا سرعت همگرایی را بهبود بخشد و از نوسانات جلوگیری کند.
تاریخ انتشار: