기울기 기반 최적화 방법은 목적 함수를 최소화하거나 최대화하기 위해 기계 학습 및 인공 지능에서 사용되는 기술입니다. 그래디언트(함수의 가장 가파른 상승 방향을 가리키는 벡터)를 사용하여 목적 함수가 최적화될 때까지 모델의 매개변수를 반복적으로 업데이트합니다. 가장 일반적으로 사용되는 그래디언트 기반 최적화 방법은 확률적 그래디언트 디센트(SGD)라고 합니다. 이 방법은 훈련 데이터의 임의 하위 집합의 그래디언트를 기반으로 모델 매개변수를 업데이트하여 대규모 데이터 세트에 대해 계산적으로 효율적입니다. 다른 그래디언트 기반 최적화 방법에는 수렴 속도를 개선하고 진동을 피하기 위해 과거 그래디언트를 기반으로 각 매개변수의 학습 속도를 조정하는 Adam, RMSprop 및 Adagrad가 있습니다.
발행일: