産業技術総合研究所(産総研)は2018年7月30日、同年8月から運用を始めるスーパーコンピュータ「ABCI(AI Bridging Cloud Infrastructure)」の運用開始記念式典を開催した。これに合わせてABCIを報道陣などに公開した。

記念式典の開会挨拶をする産総研 理事長の中鉢良治氏
[画像のクリックで拡大表示]

 ABCIは、ディープラーニング(深層学習)技術を使った人工知能(AI)の開発を主な用途に想定するスパコンで、深層学習に向くとされる半精度(16ビット)の浮動小数点演算における理論性能は550PFLOPSに達する。LINPACKで測定した倍精度(64ビット)浮動小数点演算性能は19.88PFLOPSで、2018年6月発表のスパコン性能ランキング「TOP500」で世界5位にランクイン。スパコンの省エネルギー性能のランキング「Green500」では、12.054GFLOPS/Wを達成して世界8位に入った。

半精度(16ビット)の浮動小数点演算性能は550PFLOPS。産総研 情報・人間工学領域 領域長の関口智嗣氏のプレゼンテーションから
[画像のクリックで拡大表示]

 ABCIの大きな特徴は、冷却システムを工夫することで「通常のデータセンターの20倍」(産総研 人工知能研究センター 人工知能クラウド研究チーム 研究チーム長の小川宏高氏)に達する高い熱密度を実現したことだ。通常のデータセンターは1ラックあたりの発熱量が数kWであるのに対し、ABCIは同約70kWまで発熱しても冷却できるという。この結果、通常より狭い敷地に大規模な計算資源を設置可能になる。データセンターの冷却効率を表すPUE(Power Usage Effectiveness)は年間平均で1.1以下。この数字は、システムの消費電力と比べてシステム冷却にほとんど電力を使っていないことを意味する。

気化熱で温水を冷やす

 ABCIは、システムの冷却に水冷と空冷の両方を用いている。1ラックあたり、水冷で60kW、空冷で10kWの冷却能力がある。水冷では、チップを覆う水冷ジャケットに32℃の水を流して、Intel社のプロセッサー「Xeon Gold 6142」(1計算ノードあたり2つ)、NVIDIA社のGPU「Tesla V100 SXM2」(同4つ)、メモリ(同384Gバイト)を冷やす。チップから熱を奪った水は約40℃になり、建屋の外にある冷却塔に送られる。

 冷却塔の内部にはコイル状の配管があり、そこに向けて外から散水すると、その気化熱によって配管内部の水が再び32℃まで冷やされる仕組みだ。なお、循環する水は空冷ファンにも通され、ファンが循環する空気も冷やす。全体では毎分5000Lの水が循環している。

1つの計算ノードは、四つのGPUを搭載したボード(写真上)とふたつのCPUを載せたボード(写真下)から成る。右側にあるオレンジ色と黒の部品が水冷ジャケット
[画像のクリックで拡大表示]
水冷ジャケットを被せた状態。ボードの下にあるケースに2計算ノードを収容する
[画像のクリックで拡大表示]
ABCIは計算ノードを1088ノード搭載する。産総研 人工知能研究センター 人工知能クラウド研究チーム 研究チーム長の小川宏高氏のプレゼンテーションから
[画像のクリックで拡大表示]

 ABCIが設置された周囲の環境は、湿球温度が年間を通して27℃以下であるため、温まった熱を1年中32℃以下まで冷やせるという。実際、全国を猛暑が襲った7月23〜27日に、ABCIの最大計算ノード数である1088ノードを1グループで占有利用できる第1回ABCIグランドチャレンジ2018が開かれたが、問題なく冷却できたとする。ABCIの消費電力は最大2.3MWだが、今の所2MW超えたことはないという。

ABCIから戻ってきた水が冷却塔に入るところ。水の温度は36℃ほどだった
[画像のクリックで拡大表示]
3MWまで冷却できる冷却塔
[画像のクリックで拡大表示]
冷却塔から出てきた水は30℃ほどだった
[画像のクリックで拡大表示]

 ABCIは現在、建屋の中にある90ラック中41ラックを使用している。建屋には合計144ラックまで増設が可能で、現状の冷却能力にはまだ余裕がある。冷却塔が3MWを冷却できるほか、これとは別に200kWの冷却能力があるチラー(冷凍機)も用意している。後者は現時点では利用しておらず、水冷に対応しないストレージ装置を増設した場合に使う計画という。屋外には、将来の冷却設備拡張用のスペースもある。なお電力の供給面では、現在建設中の研究棟の利用分を含めて、合計3.25MW分を確保している。

この先は有料会員の登録が必要です。有料会員(月額プラン)は登録月無料!

日経 xTECHには有料記事(有料会員向けまたは定期購読者向け)、無料記事(登録会員向け)、フリー記事(誰でも閲覧可能)があります。有料記事でも、登録会員向け配信期間は登録会員への登録が必要な場合があります。有料会員と登録会員に関するFAQはこちら