स्टोचैस्टिक ग्रेडिएंट डिसेंट (SGD) प्रशिक्षण के दौरान हानि फ़ंक्शन (जिसे लागत फ़ंक्शन, त्रुटि फ़ंक्शन या उद्देश्य फ़ंक्शन के रूप में भी जाना जाता है) को कम करने के लिए मशीन लर्निंग, डीप लर्निंग और न्यूरल नेटवर्क में उपयोग किया जाने वाला एक लोकप्रिय अनुकूलन एल्गोरिथम है।
प्रत्येक प्रशिक्षण उदाहरण (बैच) के लिए मॉडल मापदंडों को अपडेट करने वाले पारंपरिक ग्रेडिएंट डिसेंट एल्गोरिथम के विपरीत, SGD प्रत्येक व्यक्तिगत प्रशिक्षण उदाहरण के लिए मापदंडों को अपडेट करता है। दूसरे शब्दों में, SGD यादृच्छिक रूप से एक एकल प्रशिक्षण उदाहरण का चयन करता है, उस उदाहरण का उपयोग करके मॉडल मापदंडों के संबंध में हानि फ़ंक्शन के ग्रेडिएंट की गणना करता है, और फिर उस ग्रेडिएंट की दिशा में मापदंडों को अपडेट करता है।
SGD का व्यापक रूप से उपयोग किया जाता है क्योंकि यह कम्प्यूटेशनल रूप से कुशल है, बैच ग्रेडिएंट डिसेंट की तुलना में कम मेमोरी की आवश्यकता होती है, और तेजी से परिवर्तित हो सकता है क्योंकि मापदंडों के अपडेट अधिक बार किए जाते हैं। हालाँकि, यह सीखने की दर और मिनी-बैच आकार की पसंद के प्रति संवेदनशील हो सकता है जो इसके प्रदर्शन को प्रभावित कर सकता है।
प्रकाशन तिथि: