本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 ニューラルネットワークは有限回の変換の組み合わせで構成され、例えば10層のニューラルネットワークは入力を10回変換した結果として表される。

 これに対し、入力に連続時間の変換を適用し、例えば3.6回分変換といった変換を扱えるNeural ODE1)が提案された。Neural ODEはNeurIPS 2018のベストペーパーに選ばれている。これについて解説する。

 ニューラルネットワークの層のいくつかは変換した値を入力に足しこんでいく形をとる。

\[h_{t+1} = h_t + f(h_t; \theta_t)\]

 この$f$は1層以上から成るニューラルネットワークで表現される。現在の画像認識器の主流となっているResNetやLeaky Unitを使ったRNN、生成モデルの正規化フローなどがこの形をとる。この式は連続な関数を時間$t$についてオイラー法で離散化した時の更新式とみなせる。このステップ幅を極限まで小さくしていくと、次のような常微分方程式(ODE:ordinal differential equation)が得られる。

\[\frac{dh(t)}{dt} = f(h(t), t; \theta)\]

著者の岡野原大輔氏

 この場合、関数$f$は入力が$h(t)$,時刻$t$の時の微分を与えているとみなせる。入力を時刻$0$における値$h(0)$とし、上記の常微分方程式に従い、時刻$T$における値$h(T)$を出力とした関数を考える。このような常微分方程式を使った関数を層として利用したニューラルネットワークをNeural ODE1)とよぶ(図1)。

多くの利点があるNeural ODE

 このNeural ODEは通常のニューラルネットワークと比べて多くのメリットがある。

[画像のクリックで拡大表示]
[画像のクリックで拡大表示]
図1 Neural ODEと通常のResNetの比較
通常のResNetは変換の離散的なシーケンスとなるが(左側)、Neural ODEは状態を連続的に変換するベクトル場とみなせる(右側)。丸いプロットは評価点を表す。(図:University of Toronto)

この先は日経Robotics購読者限定です。