三菱UFJニコスは2017年末に「NICOSカード」の利用金額を二重請求するシステム障害を引き起こした。カードシステムのHDDが故障しファイルが破損。復旧のための手作業にミスがあった。当初、影響範囲は限定的との見通しだったが、被害は提携先や自治体にも拡大。事態の収束に手こずった。

 「NICOSカード」の名称でクレジットカード事業を手掛ける三菱UFJニコスで2017年12月26日、カードシステムにシステム障害が発生した。ハードディスク(HDD)が故障して一部のファイルが壊れた。復旧のためのデータ入力作業でミスが発生し、NICOSカードや同社と提携する他社カードの会員の一部に利用料を二重で請求した。カードの新規発行やポイント付与といった業務にも遅れが生じた。

 加えて、一般消費者が税金や公共料金などをコンビニエンスストアで支払える「コンビニ収納代行サービス」を同システムで稼働していたため、一部の自治体への収納データの送信が滞った。納税証明書の送付が通常より約1週間遅れた自治体も出た。

 三菱UFJニコスはWebサイト上で「NICOSカード会員様に多大なご迷惑をおかけし、大変申し訳ございません」と謝罪。収納事業についても「お客様および収納事業者様へご迷惑をおかけしていることを心よりお詫び申し上げます」とした。

 システム障害の影響によって生じた各種業務の遅れは1月22日時点で「1月末まで続く見通し。障害の影響範囲は当初の想定を超えている」(同社広報)。

図 三菱UFJニコスが同社サイトに掲出した障害のお知らせ
年をまたいでも障害が収束せず
[画像のクリックで拡大表示]
[画像のクリックで拡大表示]

HDD故障でファイル破損

 同社が異常に気付いたのは2017年12月26日午前6時のことだった。カードシステムのバッチ処理で不具合が生じたため、すぐに同社のシステム担当者が原因を調べると、一部のHDDが故障して「中間加工ファイル」と呼ぶデータが破損していると分かった。

 中間加工ファイルは利用会員に利用状況を通知したり引き落としデータを作成したりする用途に使う。会員の利用状況を日次で更新するマスターデータを加工して、日次や月次のバッチ処理で作成している。毎日午前9時から正午にかけてバックアップしていたが、HDD故障はバックアップ処理の起動前に発生した。

 システム担当者は同日中に故障したHDDを新品と交換。HDD故障の原因は調査中で、「人為的な原因ではないと見ている」(同)という。ハード故障の復旧は早かったものの、マスターデータから利用履歴などを取り込んで中間加工ファイルを再作成する日次バッチ処理の開始が遅れた。26日分の処理は翌27日の日中までずれ込んだ。

 バッチ処理の突き抜けにより、カード会員が専用サイトなどで利用履歴を照会すると故障前の25日までの分しか見られなかった。同社は27日午前8時55分にサイトで障害を通知した。

 26日に終わらなかったバッチ処理を27日以降に処理するため、「システムの負荷が高くなった」(同)。その結果、27日にカードシステムのオンラインシステムがうまく立ち上がらなかった。27日以降もバッチ処理の遅れを取り戻すために、カードの新規発行業務やカード更新のための発券処理業務、Webサービスを使ったキャッシングの利用停止業務など、多くの業務処理に遅れが生じた。バッチ処理の遅延は2018年1月3日まで続いた。

復旧ミスで二重請求

 年が明けて仕事始めの1月4日朝、オンラインシステムを正常に起動できる状態まで回復したため、同社はシステムが復旧したと公表。4日と5日は「慎重を期すため、オンラインシステムの運用を一部の時間帯で制限する」措置を講じた。事態は収束に向かっているように見えたが、実は新たな問題が発生していた。

 1月5日に同社は会員専用サイトなどで一部の利用明細が二重に表示されていると明らかにした。当日、本誌の取材に対して同社広報は「二重表示されていても引き落としには影響しない」と回答した。請求日までに二重表示を解消すれば二重引き落としにはならないと考えていたためだ。

 しかし解消作業の一部が間に合わなかった。「一部の会員は支払日である1月29日に二重に引き落とされる可能性がある」(同)。同社はこの事態を1月15日に公表した。

 二重表示の対象となったのは2017年12月26日から2018年1月5日までにNICOSカードを使った会員の一部。同社は対象者に手紙と電話で説明・謝罪し、二重引き落としされる場合は「誤請求分を会員の銀行口座に入金し、会員に損失が出ないようにする」(同)とした。約858万人いるNICOSカード会員のうち何人に影響したかは明らかにしていない。

 二重表示の原因について同社は「作業ミス」と話す。「加盟店などから送られてきたカードの利用実績に関するデータを手作業やツールでシステムに取り込んだところ、作業の過程でミスがあり、一部のデータを二重に取り込んだ」(同)。不具合に気付く前に中間加工ファイルを通じて引き落としデータを作成したと見られる。

 中間加工ファイルのデータが破損したのは1998年にシステムが稼働してから初めてだった。「復旧手順書はなかった」(同)という。

他社や自治体にも影響広がる

 三菱UFJニコスはNICOSカードのほかにも「MUFGカード」と「DCカード」を提供しているが、カードブランドごとに別々のシステムを稼働させているため、影響はなかった。システムを統合していないことが皮肉にも被害の拡散防止につながった。一方で、NICOSカードでは提携カード事業に取り組んでおり、システム障害の影響は他社に広がった。

 同社はJAバンクと提携の「JAカード」を発行しており、JAカード会員にもNICOSカード会員と同様の影響が出た。さらに三菱UFJニコス経由で利用実績データを請求している他社発行のカードにも影響が出た。三菱UFJニコスがアクワイアラー(加盟店の取りまとめや請求処理などを担当する事業者)を務める加盟店での支払いだ。ジャパンネット銀行が発行するデビットカードを使った支払いのうち一部で1月7日に二重引き落としが発生。1月17日に返金した。

 三菱UFJフィナンシャル・グループ傘下のジャックスも影響を受けた。一部の会員で利用明細が重複。同社は事態を1月16日に公表し、請求時には正しい利用内容に修正するとした。

 カード事業以外でもシステム障害の影響が及んだ。同社はコンビニ収納代行サービスをNICOSカードのシステムで運営しているためだ。障害発生後、納税者がコンビニなどで支払った内容を格納した「実績データ」を地方自治体などに提供する作業が遅れた。合計で最大57万件が遅延したという。

 愛知県では瀬戸市と小牧市、犬山市の3市で計約2万件以上、総額2億円の実績データ送信に遅れが出た。瀬戸市は1月12日、市民が2017年12月中旬に納付した市税や公共料金の実績データが三菱UFJニコスから正常に届かず、年末年始に納付を確認できていないと公表した。影響は約9500件、合計約1億2000万円に上った。

 同市会計課は1月11日に実績データを受け取ったものの、「通常は日次でデータを受け取っているが、一括で送られてきた。そのためシステムの処理と検証に時間を要した」とする。1月19日には事態を収束させたが、納税証明書の送付は通常より約1週間遅れたようだ。

 2017年末時点で同社は、システム障害の影響がNICOSカード会員の利用状況照会など一部にとどまると見ていた。だが影響は想定を超え、対応は後手に回ったと言わざるを得ない。

 「業務の遅れや停滞を解消すべく全社体制で対応したところ、加盟店や提携先などに様々な支障が発生していると判明した」(広報)。今後について広報は「原因などの全容を解明し、システム開発会社と協議して早急に対策を決めていく」と話す。開発会社は「非公表」としている。

出典:日経コンピュータ 2018年2月1日号 pp.96-98
記事は執筆時の情報に基づいており、現在では異なる場合があります。