Hadoopベンダー大手の米Clouderaは2016年11月8日、分散データ処理フレームワーク「Apache Spark」に関する市場調査の結果を公表した。7000件の回答を得て、「Spark利用者のうち64%が今後12カ月間で利用を拡大すると回答した」(アマ―・アワダラ共同設立者兼最高技術責任者)。新規利用については、ビッグデータプロジェクトの経験がある10人に4人が近々にSparkの導入を計画していると回答したという。調査は米Taneja Groupに委託して実施した。

米Clouderaのアマ―・アワダラ共同設立者兼最高技術責任者
[画像のクリックで拡大表示]

 Sparkのユースケースについては、利用者のうち55%がバッチ処理、44%がストリーム処理、33%がデータサイエンス、33%が機械学習に活用していた。クラウド上でSparkを使うという動きも明らかになった。「現在の利用者の23%がクラウド上でSparkを利用していた。将来的は36%に伸びる」(アワダラ氏)。

 ディストリビューター別の利用率では、Spark利用者の57%がClouderaを使っているという結果だった。競合の利用率は、米Hortonworksが26%、Apacheからのダウンロードが22%、米Databricksが7%だった。アワダラ氏は「我々はHadoopからリーダーであり続け、最も早くSparkの商用サポートを開始した。さらに製品を提供する速さ、使いやすさ、セキュリティが評価されたと考えている」とアピールした。

日本MSと共同でパートナー拡大、第一弾は日立ソリューションズ

 同時に、Cloudera日本法人と日本マイクロソフトが協業強化について発表した。共同でパートナー企業となるSIベンダーの拡大に取り組む。その第一弾として、日立ソリューションズがビッグデータ基盤「Cloudera Enterprise」をMicrosoft Azure上で動作させる実証実験を開始した。Cloudera EnterpriseはHadoopやSparkを含む、分散データ処理ソフトウエアの統合製品である。

 Cloudera日本法人の朝枝浩毅チャネル&アライアンス ディレクターは「単純な動作検証だけではない。日立ソリューションズの顧客である、データベースマーケティング企業のランドスケイプの実プロジェクトでPoC(概念実証)を実施する」と言う。

 米Clouderaと米Microsoftはグローバルで既に協業している。デプロイ済み仮想マシンを販売する「Azure Marketplace」で、Cloudera Enterpriseを提供している。このほか、Cloudera Enterpriseの管理ツール「Cloudera Director」もAzureに対応済みだ。

 MicrosoftもAzureを分散データ処理のインフラとして売り込みたい考え。日本マイクロソフトの新井真一郎マーケティング&オペレーションズ クラウド&エンタープライズビジネス本部 OSS戦略担当部長は「AzureのIaaSにおいて、大量のメモリーとローカルストレージ、超高速なネットワークを搭載した仮想マシンの提供を計画している」とHadoopやSparkに特化したインスタンスの拡充計画を明かした。