正式版の公開から1年しか経っていないにも関わらず、「Uber」や「Airbnb」といった注目の新興企業や、トヨタ自動車のような巨大企業がこぞって採用し、米IBMが「データ分野で今後10年間の最重要オープンソースソフトウエア(OSS)」と呼んで、3500人もの研究者や開発者を投入し始めたビッグデータ処理ソフトがある。「Spark(スパーク)」だ。

 2015年6月15~17日(米国時間)には米国サンフランシスコ市でユーザーカンファレンス「Spark Summit 2015」が開催され、2000人ものユーザーが集まった(写真1)。

写真1●2000人を集めた「Spark Summit 2015」
[画像のクリックで拡大表示]

 同カンファレンスでは、タクシー配車サービスの米Uber Technologies、民家をホテルとして貸し出す米Airbnb、トヨタ自動車の米国法人、中国Baidu、さらには米中央情報局(CIA)などが、Sparkの活用事例を公表。IBMもこのイベントに合わせて、3500人の研究者や開発者をSpark関連のプロジェクトに従事させると発表した。

 Sparkは米カリフォルニア大学バークレー校で開発が始まったOSSで、現在は同校の研究者が起業したスタートアップ、米Databricksが開発を主導する。正式版となる「Spark 1.0」が公開されたのはわずか1年前、2014年5月のことである。

 それにも関わらずSparkは、ビッグデータ処理ソフトの定番「Hadoop」に続く、次なるビッグデータ処理の主役に目され始めている。なぜSparkがこれほど注目を浴びるのか。Spark Summit 2015で明かされたユーザーの声を元に、Sparkの今に迫る。

この先は会員の登録が必要です。今なら有料会員(月額プラン)が2020年1月末まで無料!