世界最大の「Hadoop」クラスターを運用している企業と言えば、Hadoopの開発を始めた米ヤフーである。同社は2014年6月の「Hadoop Summit 2014」で、3万2000台のHadoopクラスターを運用していることを明らかにした。では日本で最大級のHadoopクラスターを運用しているのは誰か。それもやはり、ヤフー(Yahoo! JAPAN)だ。

 Yahoo! JAPANが運用するHadoopクラスターの規模は6000台で、同社のビッグデータ専門組織であるデータソリューション本部には、220人のエンジニアやデータサイエンティストが集結する。同社データソリューション本部の小間基裕本部長、同本部の岡本慎一郎プロジェクトマネージャー、システム統括本部の角田直行テクニカルディレクター(写真1)に、ヤフーにおけるビッグデータ活用の現状を聞いた。(聞き手は中田 敦=日経コンピュータ)。

「データソリューション本部」とはどのような組織ですか。

 (小間氏)当社には情報システム部門として「システム統括本部」がありますが、データソリューション本部は情報システム部門から独立した、ビッグデータ活用の専門組織となります。データソリューション本部ができたのは、これまでの「ビジネス部門からの発注に基づいて、情報システム部門が作業をする」という体制では、データ活用がうまく行かないと判断したからです。

写真1●左から、システム統括本部の角田直行テクニカルディレクター(TD)、データソリューション本部の小間基裕本部長、同本部の岡本慎一郎プロジェクトマネージャー
[画像のクリックで拡大表示]

 データソリューション本部は、自らビジネス部門に入り込んでデータ活用を推進していく組織になります。Yahoo! JAPANでデータ活用を進める際には、ビジネス部門とデータソリューション本部から人を出し合ってプロジェクトチームを作り、このチームでデータ活用を推進することになっています。ビジネス部門とデータソリューション本部との間で「受発注」の関係を作らないことがポイントです。

この先は会員の登録が必要です。有料会員(月額プラン)は初月無料!

日経 xTECHには有料記事(有料会員向けまたは定期購読者向け)、無料記事(登録会員向け)、フリー記事(誰でも閲覧可能)があります。有料記事でも、登録会員向け配信期間は登録会員への登録が必要な場合があります。有料会員と登録会員に関するFAQはこちら