Phương pháp tối ưu hóa dựa trên độ dốc là một loại thuật toán được sử dụng để tìm giá trị tối thiểu hoặc tối đa của hàm bằng cách điều chỉnh lặp đi lặp lại các tham số theo cách làm giảm giá trị của hàm. Thuật toán tính toán độ dốc của hàm tại một điểm cụ thể trong không gian tham số và sử dụng nó để xác định hướng dốc nhất của hàm. Sau đó, thuật toán điều chỉnh các giá trị tham số theo hướng đó để cố gắng tìm giá trị cực tiểu hoặc cực đại của hàm. Độ dốc có thể được ước tính bằng cách sử dụng phân biệt số hoặc độ dốc phân tích có thể được tính toán trực tiếp nếu có. Các phương pháp tối ưu hóa dựa trên độ dốc được sử dụng rộng rãi trong học máy và các vấn đề tối ưu hóa khác, chẳng hạn như trong học sâu nơi chúng được sử dụng để tìm trọng số và độ lệch tối ưu cho mạng thần kinh.
Ngày xuất bản: