本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 多くの機械学習は学習問題を最適化問題として定式化し、勾配降下法を使って最適化する。ニューラルネットワーク(NN)は誤差逆伝播法(後ろ向き自動微分)を使うことで複雑な関数でも勾配を効率的に計算できている。

著者の岡野原大輔氏

 勾配計算のもう1つの重要なアルゴリズムとして陰関数微分がある。深層学習(ディープラーニング)の分野での陰関数微分の利用は限定的であったが、最近は急速に適用範囲が広がっている。今回はこれについて紹介する。

陰関数微分とは

 始めに、陰関数微分の基本的な考えを説明する。次のような二変数関数から成る方程式を考える。

\[ F(x, y) = 0 \]

このとき、ある条件を満たした場合、$y = \phi(x)$が存在し、

\[ F(x, \phi(x)) = 0 \]

を満たせることが分かっている(陰関数定理)。つまり$F(x, y)=0$という方程式から$y =\phi(x)$という関数が導出されたことになる。この$y=\phi(x)$を陰関数と呼ぶ。

この先は日経Robotics購読者限定です。