Stochastic gradient descent (SGD) ایک مقبول اصلاحی الگورتھم ہے جو مشین لرننگ، ڈیپ لرننگ اور نیورل نیٹ ورکس میں تربیت کے دوران نقصان کے فنکشن (جسے لاگت کا فنکشن، ایرر فنکشن یا مقصدی فنکشن بھی کہا جاتا ہے) کو کم کرنے کے لیے استعمال کیا جاتا ہے۔
روایتی گریڈینٹ ڈیسنٹ الگورتھم کے برعکس جو ہر تربیتی مثال (بیچ) کے لیے ماڈل پیرامیٹرز کو اپ ڈیٹ کرتا ہے، SGD ہر انفرادی تربیتی مثال کے لیے پیرامیٹرز کو اپ ڈیٹ کرتا ہے۔ دوسرے لفظوں میں، SGD بے ترتیب طور پر ایک واحد تربیتی مثال کا انتخاب کرتا ہے، اس مثال کو استعمال کرتے ہوئے ماڈل پیرامیٹرز کے حوالے سے نقصان کے فنکشن کے گریڈینٹ کی گنتی کرتا ہے، اور پھر اس گریڈینٹ کی سمت میں پیرامیٹرز کو اپ ڈیٹ کرتا ہے۔
SGD کا وسیع پیمانے پر استعمال کیا جاتا ہے کیونکہ یہ کمپیوٹیشنل طور پر موثر ہے، بیچ گریڈینٹ ڈیسنٹ کے مقابلے میں کم میموری کی ضرورت ہوتی ہے، اور پیرامیٹرز کی تازہ کاری زیادہ کثرت سے ہونے کی وجہ سے تیزی سے اکٹھا ہو سکتا ہے۔ تاہم، یہ سیکھنے کی شرح اور منی بیچ کے سائز کے انتخاب کے لیے حساس ہو سکتا ہے جو اس کی کارکردگی کو متاثر کر سکتا ہے۔
تاریخ اشاعت: