Preferred Networksは2017年11月10日、ディープラーニング(深層学習)の学習速度で世界最速を実現したと発表した。ベンチマークとなる画像認識の深層学習アルゴリズム「ResNet-50」の学習を15分で終え、初めて20分を切った。膨大な試行回数が必要な交通システムや製造業、バイオ・ヘルスケア分野での研究開発をより一層加速させるという。

 実験は、1024個のNVIDIA Tesla P100 GPUを備えるPreferred Networks社内の並列コンピュータ「MN-1」と、深層学習の分散処理が可能な「ChainerMN」で実施した。一般に、GPUノード数に応じて並列処理する学習用画像データ数が増えると精度の低下が起こり、GPU間の通信オーバーヘッドで学習速度が低下する。そこで学習アルゴリズムと並列化性能の改善を施し、高速性と精度を両立させた。

画像認識の深層学習アルゴリズム「ResNet-50」の学習時間の比較
(出所:Preferred Networks)
[画像のクリックで拡大表示]

 具体的には、学習精度を最適化するアルゴリズムに、当初は「RMSprop」を使い、徐々に広く使われる「SGD」(確率的勾配降下法)に切り替える手法を考案。精度を落とさずに1回当たり3万2000画像を1024ノードで効率よく並列処理できるようにした。Intel Xeon Platinum 8160を1600台使用して31分で学習完了した類似研究(Y. You et al. ImageNet Training in Minutes. CoRR,abs/1709.05011, 2017)のほぼ倍の速度になる。