本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 ディープラーニング(深層学習)技術の高速化というと、学習の高速化に焦点が当たることが多いが、実際にロボットや工場での応用を踏まえると、推論実行の高速化も非常に重要である。いくら精度や機能が高くても、十分なスピードで処理できなければロボットや自動運転車で実用化するのは難しいからだ。

 そうしたディープニューラルネット(DNN)の推論の高速化をCPU上のソフトウエアのみで実現しようとする技術がここにきて相次いで登場してきた。

  GPUや専用チップなどのアクセラレータを用意せずとも、ARM系CPUやx86系CPUなど一般的なCPU上で最適化されたソフトウエアを用いるだけで数十フレーム/秒の推論速度を実現できる。

  画像処理技術を専門に手掛ける日本のソフトウエア企業、モルフォがDNN推論専用のライブラリ製品「SoftNeuro」を発売したほか(図1)、世界レベルのディープラーニング技術を持つPreferred Networks(PFN)も同様のライブラリ「Menoh」を2018年6月に発表した。

図1 CPUのみでディープラーニング推論を高速化 
DNN推論の高速化に特化したモルフォのライブラリ「SoftNeuro」の実行の様子。CPUのみでの推論でビデオレートのフレーム速度を実現できる。(写真:モルフォ)
[画像のクリックで拡大表示]

十分な速度を低コストに実現

 DNNの推論においても、できるだけ高いフレーム速度を求めるのであれば、CPUだけでなくアクセラレータを用いる方が良い。GPUであれば米NVIDIA社の「Tegra X2」や「Xavier」といった推論向けの品種があるほか、米グーグルも2018年7月に推論専用のSoC「Edge TPU(tensor processing unit)」を発表し、同年秋から一般向けに発売を開始する。これらを使えば、CPUを使うよりも高い電力効率でDNNの推論を実行できる。

この先は日経Robotics購読者限定です。