Backpropagation
誤差逆伝播法は連鎖律を適用し、損失のパラメータに関する勾配を出力層から入力層へ向かって層ごとに計算する。ニューラルネットワーク訓練の中核である。
目的
ニューラルネットワークの勾配を効率的に計算し、深層学習の訓練を実現可能にする。
メカニズム
順伝播が各層の活性値を計算する。逆伝播は損失から出発し、連鎖律により勾配を層ごとに伝える: ∂L/∂w = ∂L/∂y * ∂y/∂w。行列積により効率的な並列計算が可能になる。計算量は順伝播と同程度である。
ユースケース
- ニューラルネットワークの学習
- ディープラーニング
- 勾配（Gradient）の計算