Stokastik gradyan iniş (SGD), eğitim sırasında kayıp fonksiyonunu (maliyet fonksiyonu, hata fonksiyonu veya amaç fonksiyonu olarak da bilinir) en aza indirmek için makine öğrenimi, derin öğrenme ve sinir ağlarında kullanılan popüler bir optimizasyon algoritmasıdır.
Her eğitim örneği (toplu iş) için model parametrelerini güncelleyen geleneksel gradyan iniş algoritmasının aksine, SGD her bir eğitim örneği için parametreleri günceller. Başka bir deyişle, SGD rastgele tek bir eğitim örneği seçer, bu örneği kullanarak model parametrelerine göre kayıp fonksiyonunun gradyanını hesaplar ve ardından parametreleri bu gradyan yönünde günceller.
SGD yaygın olarak kullanılmaktadır çünkü hesaplama açısından verimlidir, toplu gradyan inişinden daha az bellek gerektirir ve parametre güncellemeleri daha sık yapıldığından daha hızlı yakınsayabilir. Bununla birlikte, öğrenme hızına ve performansını etkileyebilecek mini parti boyutunun seçimine duyarlı olabilir.
Yayın tarihi: