本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 ビッグデータ処理や機械学習向けのオープンソースソフトウエア(OSS)「Apache Spark」が、ディープラーニング(深層学習)対応を強化する。Sparkは複数のコンピュータをネットワーク接続し、そのクラスタで分散処理することで、膨大な演算を短時間で処理するソフトである。今回、このSparkクラスタのリソースを管理しジョブやタスクを制御する「スケジューラ」を全面的に刷新し、Spark上で深層学習の分散実行を効率的に実行可能にする。

 Sparkの主要開発企業である米Databricks社は2018年6月4~6日に米サンフランシスコで開催したカンファレンス「Spark+AI Summit 2018」で、深層学習フレームワークを使った分散学習をSpark上で実行可能にする「Project Hydrogen」を発表した。

この先は日経Robotics購読者限定です。