梯度下降是一种迭代优化算法，通常用于最小化机器学习模型中的成本或损失函数。它的工作原理是计算成本函数在决策空间中特定点的梯度（斜率），然后朝负梯度方向（与最陡上升方向相反的方向）迈出一步。重复此过程，直到达到函数的全局最小值，或者直到算法收敛到某个其他停止标准。学习率（步长）决定了每次迭代所采取的步长，应谨慎选择以确保收敛到全局最小值。梯度下降是许多流行的机器学习算法（例如线性回归、逻辑回归和人工神经网络）中的关键要素。
Publication date:
Knowledge Exploration