วิธีการเพิ่มประสิทธิภาพตามการไล่ระดับสีเป็นเทคนิคที่ใช้ในการเรียนรู้ของเครื่องและปัญญาประดิษฐ์เพื่อลดหรือเพิ่มฟังก์ชันวัตถุประสงค์ ใช้การไล่ระดับสี (เวกเตอร์ที่ชี้ไปในทิศทางของการขึ้นที่ชันที่สุดของฟังก์ชัน) เพื่ออัปเดตพารามิเตอร์ของแบบจำลองซ้ำๆ จนกว่าฟังก์ชันวัตถุประสงค์จะได้รับการปรับให้เหมาะสม วิธีการเพิ่มประสิทธิภาพตามการไล่ระดับสีที่ใช้กันมากที่สุดเรียกว่า Stochastic Gradient Destination (SGD) ซึ่งจะอัปเดตพารามิเตอร์โมเดลตามการไล่ระดับสีของชุดย่อยแบบสุ่มของข้อมูลการฝึกอบรม ทำให้มีประสิทธิภาพในการคำนวณสำหรับชุดข้อมูลขนาดใหญ่ วิธีการเพิ่มประสิทธิภาพตามการไล่ระดับสีอื่นๆ ได้แก่ Adam, RMSprop และ Adagrad ซึ่งปรับอัตราการเรียนรู้สำหรับแต่ละพารามิเตอร์ตามการไล่ระดับสีที่ผ่านมาเพื่อปรับปรุงความเร็วการบรรจบกันและหลีกเลี่ยงการแกว่ง
วันที่เผยแพร่: