この記事は日経Robotics 有料購読者向けの記事ですが
日経Robotics デジタル版(電子版)』のサービス開始を記念して、特別に誰でも閲覧できるようにしています。

前回の記事はこちら

本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 「ディープラーニングにおいて安全性をどう担保するか」─―。

 これはAIブームの最中の現在、よく議論に上がるトピックである。しかし、この問いは実はJAXAのような安全の専門家集団にとっては適切な問い掛けではない。安全性とは、個々のモジュールレベルでは成立し得ず、システムレベルになって初めて成立し、検討できる概念だからである。DNNという、あくまで1つのソフトウエアモジュール単体では安全性は議論し得ないのである。

 ハードウエアで考えてみれば、理屈はシンプルだ。例えば、電気信号をオンオフするスイッチ部品があったとする。そのスイッチが安全かどうかは部品単体では議論できない。自動車なりロボットなり、巨大なシステムの中のどこに使うかが決まって、初めて安全性を議論できる。例えば、自動車の室内照明のオンオフに使うのであれば、そのスイッチは安全性にはほとんど影響しない。一方、自動車のヘッドライトのオンオフに使うのであれば安全性に直結する。夜間、もしヘッドライトを点灯できなければ、運転者は歩行者を発見しにくくなり、人命に危害(ハザード)が及ぶ可能性がある。

 誤解されがちなのは、想定した機能が仕様通り正しく発揮されるという「信頼性」については、部品単体でも議論できる点である。スイッチが故障せずに正しく電気信号をオンオフできるかは信頼性の話だ。安全性と信頼性は部分的に重なる領域もあるが、基本的には別の概念なのである4-5)。システム内のすべての部品が信頼性高く、故障せずに正しく動作していても、事故やハザードは起きることがある。例えば、仕様自体が間違っていた場合だ。ソフトウエアも一切バグがなく、仕様通りに正しく動作していたとしても、仕様自体が不適切で妥当性がなければ、安全は脅かされる。

図2 JAXAの補給船「HTV」に使われたSTAMP/STPA
1号機の設計では従来型の安全解析手法を用いたが、JAXAは1号機の打ち上げ成功後、事後的にSTAMP/STPAをHTVに適用した実績がある。(写真:JAXA)
[画像のクリックで拡大表示]

 このようにシステム全体で安全を考えようとするアプローチは「System Safety(システム安全)」と呼ばれる4)

 米国の防衛産業や航空宇宙産業などで培われてきたアプローチであり、特にソフトウエアを含んだシステムの安全性については、米MIT教授のNancy Leveson氏が体系化したことで知られる。同氏は2000年代に入ってからはSystem Safetyのための安全解析手法「STAMP/STPA」を提唱。米国の航空宇宙産業や日本のJAXAなどは、このSTAMP/STPAを取り入れ現場で実践してきた。直近では国際宇宙ステーション向けのJAXAの補給船「HTV(こうのとり)」の安全分析にSTAMP/STPAが適用された(図2注4)

注4)HTVの1号機では従来手法で安全分析を行い、STPAは打ち上げ後に事後的に実施。未検出のハザードを抽出した実績がある。ただし、そのハザードの影響自体は1号機では対処済みだった。

DNNの誤認識にどう対処するか

 JAXAはこのSTAMP/STPAを、ディープラーニング技術を用いたシステムの安全分析に既に適用している。それが、不審船を人工衛星のレーダによってDNNで検出するシステムである。