2019年7月に完了したみずほ銀行のシステム統合。20年にも及ぶその苦闘を「日経コンピュータ」の記事で振り返る。2011年6月9日号はみずほ銀行2度目の大規模システム障害の背景に勘定系システムの老朽化があったことを詳報した。

 東日本大震災から3日後の2011年3月14日。この日の午前に最初のトラブルは発生した。テレビ局が東日本大震災の義援金を番組などで呼びかけたところ、みずほ銀行東京中央支店のテレビ局の義援金口座(以下、口座a)に、振り込みが殺到した。

表●みずほ銀行30の不手際
番号は本文中の太字にそれぞれ対応する
番号不手際の内容番号不手際の内容
1義援金口座の設定をミス16顧客の心配がIT部門に届かず
2バッチ処理の上限を担当者が知らず172日連続で上限オーバー
3異常終了でデータが欠落18上限値設定を23年間見直さず
4欠落データの復元に8時間19バッチの負荷テストをせず
5担当役員が知るまで17時間かかる20内部・外部監査が機能せず
6頭取への報告までに21時間かかる21運用リスクを最高とせず
7オンラインとバッチの並行を想定せず22エラーメッセージを読み誤る
8為替未送信に19時間気付かず23操作ミスでデータを誤削除
9取引抑止操作に予想の5倍の時間24誤削除データの回復に16時間
10バッチ中断後は自動運用が不可能25日付切り替え処理を失念
11早期の手動切り替えを想定せず26ログファイルの退避を忘れる
12障害対応の実効性が未確認27ログ容量超過で勘定系が全面停止
13作業漏れや操作ミスが多発28障害対策チームの一本化が5日後
14勘定系のリスクを最高とせず29システムを熟知する要員が不足
15連携不足で二重振り込み多発30指揮を執るマネジメント人材が不足

 午前10時16分、振り込みによって生じた「取引明細」の件数が上限値を超え、口座aに対する「預金・取引内容照会」ができなくなった。取引明細は通帳の記帳に使う。

 みずほ銀は口座aを、格納できる取引明細の上限値が小さい「個人・通帳口」として間違って設定していた表-1)。

 みずほ銀は口座の種類を二つの属性の組み合わせによって区別している。一つは「個人」か「法人」か。もう一つは、取引明細を通帳に記帳する「通帳口」か、記帳しない「リーフ口(ぐち)」かである。

 これら二つの属性によって、格納できる取引明細の上限値が変わる。通常、義援金口座のような大量振り込みが予想される口座は、リーフ口として登録する。リーフ口の場合、取引明細が上限値を超えることはない。取引明細を保存しないからだ。

 みずほ銀が口座aの開設手続きを実施したのは2005年9月のことである。この際、みずほ銀は口座aを「個人・リーフ口」にしていた。ところが2007年12月、テレビ局から「振り込み明細を通帳で把握したい」との要望を受け、「個人・通帳口」に変更した。

夜間バッチでも上限オーバー

 午後3時以降に受け付けた振り込み依頼は、夜間バッチで入金処理する。午後10時7分、口座aの夜間バッチが異常終了した。

 実は夜間バッチでも、一つの口座につき何件まで処理できるかを示す上限値の設定があった。口座aは、振り込み処理の前に明細を退避する準備処理で、この上限値をオーバーした。このとき、現場にいたシステム担当者は、このような上限値が勘定系システム「STEPS」に存在することを知らなかった表-2)。

 担当者は異常終了時のエラーメッセージなどから上限値の存在を突きとめ、上限値を拡大した。その後バッチ処理を再実行したが、また異常終了した。先の異常終了によって、一部の振り込みデータが欠落していた表-3)からだ。

 再実行には欠落データの復元が必要だ。結果的に、この復元に8時間を費やした表-4)。復元作業の過程で、翌朝のオンライン起動に向けたタイムリミットの午前6時までに夜間バッチが完了しないのは確実になった。

 みずほ銀のシステム担当役員である萩原忠幸常務執行役員は、15日午前3時30分頃になって初めて、IT・システム統括部から障害の報告を受けた。担当役員が障害発生を知るまで、最初のトラブルから17時間かかった表-5)。

為替未送信に気付かず

 午前5時、萩原常務執行役員は、店舗の営業を開始する午前9時までにオンラインシステムを稼働するよう指示した。萩原常務執行役員は午前7時に、障害発生を西堀利頭取に報告した。トラブル発生から21時間後のことだ表-6)。

 みずほ銀は昼間のオンラインと夜間バッチを、同じハードウエア(富士通製メインフレーム)で交互に実行する。オンラインとバッチの並行処理は想定せず、準備もしていなかった表-7)。

 午前7時、みずほ銀はオンラインを稼働するために、夜間バッチを中断してバッチの日替わり処理を実施した。これが新たなトラブルをもたらした。

この先は会員の登録が必要です。有料会員(月額プラン)は初月無料!

日経 xTECHには有料記事(有料会員向けまたは定期購読者向け)、無料記事(登録会員向け)、フリー記事(誰でも閲覧可能)があります。有料記事でも、登録会員向け配信期間は登録会員への登録が必要な場合があります。有料会員と登録会員に関するFAQはこちら