トランスフォーマーが「不可能な」言語を学習する時、何を学ぶのか？

AIの分野で、最近「トランスフォーマー」という強力な技術が注目されています。これは、私たちが普段使っているような自然な言葉（人間の言語）を理解したり、文章を作ったりするのに使われています。でも、もしAIに、人間にはちょっと考えられないような、変なルールを持つ「不可能な言語」を学ばせたら、一体何を学ぶのでしょうか？

これまでの研究では、「AIは不自然な言語よりも、人間の言葉の方が得意だ」ということが言われてきました。まるで、AIが人間の言葉に「偏り」を持っているかのようです。しかし、これらの研究の多くは、AIが本当にその言語のルールを理解できているかを直接確かめるのではなく、どれだけ効率よく学習できたかとか、テストの時にどれだけ間違えずに文章を生成できたか、といった間接的な方法で判断していました。これでは、AIが人間の言語に偏っているのか、それとも単に学習が苦手なだけなのか、はっきりしなかったのです。

そこで、今回の研究では、もっと直接的な方法でAIの能力を調べてみました。AIが「文法」という言葉のルールをどれだけ理解できているか（文法感受性）、そして、新しい文章をどれだけ上手に作れるか（生成能力）という、2つの能力に注目したのです。具体的には、英語を少しだけ変えて、人間には習得が難しいとされる「不可能」な言語を作り出し、そこにAI（GPT-2というモデル）を学習させてみました。そして、そのAIが文法のルールをどれだけ理解しているかを、いくつかの短い単語のペアを使ってテストしました。

その結果、AIは「文法」の理解については、思ったほどひどい失敗はしませんでした。少しだけパフォーマンスが落ちたものの、学習した言語が「不可能」なものであっても、ある程度は文法的な違いを捉えられていたようです。これは、言語の「情報がどれだけ近くにあるか」といった、言語の性質に助けられたと考えられます。

ところが、文章を「生成する能力」となると、話は全く変わってきました。AIは、長めの文章を作ろうとすると、品質の低い文章ばかりを生成するようになり、ほとんどまともな文章を作れなくなってしまったのです。この結果から、研究者たちは、AIが「不可能」な言語をうまく扱えないのは、文法を理解できないからではなく、新しい文章をうまく「生成できない」ことが原因ではないかと考えています。つまり、AIが人間の言語に偏りを見せるのは、不自然な言語を「伝えること」に失敗しているからかもしれない、というわけです。これは、AIが言葉をどのように理解し、どのように使っているのかを考える上で、とても興味深い発見と言えるでしょう。