本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
著者の岡野原大輔氏
著者の岡野原大輔氏

 ニューラルネットワークは多くの問題を解くことができるが、より困難な問題を解くには、複雑な確率分布に基づいたサンプリングや推論ができ、尤度評価ができ柔軟性の高いニューラルネットワークが必要とされている。さらにこうしたニューラルネットワークは教師なしデータを使って学習可能であることが望まれる。

 現在、確率分布を扱うニューラルネットワークは2つに大別される。

  1つ目は有向グラフィカルモデルに基づいた確率モデル(変分自己符号化器(VAE)、敵対的生成モデル(GAN)など)であり、データ分布に従って高速にサンプリングできるという特徴がある。

  2つ目は無向グラフィカルモデルから導出されるエネルギー関数に基づいた確率モデル(ボルツマンマシン、ホップフィールドネットワークなど)である。

 この場合、観測変数や潜在変数間の依存関係を直接、設計できるという特徴がある。しかし、サンプリングをするためには、エネルギー関数から導出されるMCMC(マルコフ連鎖モンテカルロ法)を使ってサンプリングする必要があり、時間がかかる。また、このエネルギー関数に対応するニューラルネットワークの重みは対称(Wi,j=Wj,i)であるという強い制約を課する。脳内の領域間は双結合はみられるが、重みに対称性があるとは考えられていない。そのため、脳がこのようなエネルギー関数に基づいた確率分布を扱っていることは考えられない。

この先は日経Robotics購読者限定です。