ビッグデータに挑む世界中の企業が注目する日本製OSS(オープンソースソフトウエア)が、大量のログデータを高速で集める「fluentd(フルーエントディー)」だ。開発者の古橋貞之氏は、米国でトレジャーデータを共同起業。「DWH(データウエアハウス)クラウド」の開発を主導する。

(聞き手は中田 敦=日経コンピュータ

fluentdを使う企業が世界中で増えていますね。

(写真:加藤 康)

 米国ではプレゼン資料共有サービスのスライドシェアや、オンライン広告最適化技術を開発するコンテキストロジックが、分析用データの収集にfluentdを使い始めました。グリーやNHN Japanといった日本企業のほか、シンガポールの動画配信サービス「Viki」や中国のオンラインTV「PPTV」もfluentdのユーザーです。

 fluentdは、様々なシステムが蓄えたログデータを「JSON」という分析に適した形式に変換したうえで、高速に集めるツールです。既存システムの多くは、分析に向かないテキスト形式でログデータを保存しています。fluentdはデータを構造化するので、データを収集してすぐに分析を開始できます。

 プラグインを追加すれば、様々なアプリケーションやミドルウエア、データベース(DB)とfluentdを容易に接続できるのも特徴です。プラグインはRubyで開発でき、既に80種類以上が存在します。私が作ったプラグインもあれば、OSSのコミュニティーの開発者が作ったものもあります。

 近年は分散バッチ処理ソフトの「Hadoop」に加えて、「MongoDB」のようなNoSQLの新型DBなど、新しいソフトが次々と登場しています。fluentdを使えば、こうした新ソフトと既存システムを容易に接続できます。これまで既存システムと新ソフトを接続するためには、専用ツールをユーザーが自ら開発する必要がありました。HadoopやNoSQLを使用するネット企業がfluentdを支持しているのは、自社でソフトを開発しなくてすむからです。

この先は会員の登録が必要です。有料会員(月額プラン)は初月無料!

日経 xTECHには有料記事(有料会員向けまたは定期購読者向け)、無料記事(登録会員向け)、フリー記事(誰でも閲覧可能)があります。有料記事でも、登録会員向け配信期間は登録会員への登録が必要な場合があります。有料会員と登録会員に関するFAQはこちら