本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 この数年の自然言語処理で最も大きなブレークスルーはBERTと呼ばれる事前学習手法であろう。

 これまで画像認識の分野ではImageNetの画像分類タスクで学習して得られたモデルを他のタスクの初期パラメータとして使う事前学習がよく使われてきた。事前学習によって、様々な画像認識を解くのに必要な特徴抽出器が既に得られており、新しいタスクを学習する場合にはそのタスクに固有の部分だけ学習すれば済むため、学習データが少ない場合には特に有効なアプローチである。

著者の岡野原大輔氏

 自然言語処理でも事前学習が有効なのではないかと以前から考えられていた。例えばWord2VecやGloveなどの単語表現の事前学習では、次の単語を予測するタスクを解くことで、各単語の連続なベクトル表現を得ることを可能とした。これらの連続表現は単語の意味を表し、そのベクトル上で様々な演算が可能であり、その表現を使うことでその後のタスクの性能を向上できる場合もあった。

 この後、質問応答や 文意理解などで求められるような文や段落レベルでの表現を事前学習するparagraph vectorやskip thoughtなども登場していたが、その利用は限定的であった。2018年に登場したELMoは双方向で2つの言語モデル(次の単語予測モデル)を学習し、その表現を事前学習として使うことで様々なタスクを解けることを示した。

この先は日経Robotics購読者限定です。