BPQ
Back propagation based on Partial Quasi-Newton
NTTコミュニケーション科学研究所(当時)が開発した準ニュートン法をベースに,探索方向を少記憶BFGS法で計算し,探索幅を2次近似の最小点として計算することを特徴とするニューラルネットの高速学習アルゴリズム。ニューラルネット学習は,多変数関数の最小値を与える変数ベクトルを求める問題として定義される。ただし,一般にその解を解析的に求めることはできない。そこで,適当な初期値から始めて,反復法により,徐々に関数値を小さくするようにして解を求める。BPQの特長は,関数値を最も小さくする方向を与える情報(勾配情報),およびその勾配の変化率を表す情報(曲率情報)を用いて探索を効率良く進めることができる点にある。