EntMTP：エントロピー誘導型マルチトークン予測によるLLM推論の高速化

最近のAI（人工知能）の進化は目覚ましいものがありますが、その中でも特に注目されているのが、文章を作り出す「大規模言語モデル（LLM）」です。ChatGPTのようなサービスで、まるで人間が書いたかのような自然な文章を生成してくれるのは、まさにAIの得意技と言えます。

LLMが文章を作る仕組みを少しだけ覗いてみましょう。LLMは、次にどんな言葉が来るかを予測しながら文章を紡いでいきます。この「次の言葉を予測する」作業を、一度に一つの単語ではなく、複数の単語（トークン）のまとまりで予測しようとするのが「マルチトークン予測」という技術です。この技術を使うと、AIが文章を学習する効率が上がり、さらに生成される文章の質も良くなることが分かっています。そのため、AIが文章を作る際の「標準的なやり方」のようなものになっています。

しかし、これまでのAIのやり方には、少しばかり「固定観念」がありました。AIは、文章を生成する際に、常に同じような「思考の道筋」をたどっていました。たとえるなら、どんな問題に直面しても、常に同じルートで目的地に向かおうとするようなものです。これでは、文章の「難しさ」や「複雑さ」に応じて、もっと柔軟に思考の道筋を変えた方が効率的なのに、という問題がありました。

なぜなら、私たちが普段使う言葉には、その「予測しやすさ」に違いがあるからです。例えば、「空は」という言葉の次に来る言葉は「青い」と予測しやすいですよね。これは「予測しやすい＝エントロピーが低い」状態です。一方、「彼は」という言葉の次は、話が色々な方向に展開する可能性があり、予測が難しくなります。これは「予測しにくい＝エントロピーが高い」状態です。

今回発表された「EntMTP（エントロピー誘導型マルチトークン予測）」という新しい技術は、この問題を解決しようとするものです。EntMTPは、AIが文章を作っている最中に、その文章が「予測しやすい」のか「予測しにくい」のかをリアルタイムで判断します。そして、その判断結果に応じて、あらかじめ用意されたいくつかの「思考の道筋」の中から、最も適したものを自動的に選び出して使います。これにより、AIは文章の「予測しやすさ」に合わせて、最適なスピードで、かつ賢く文章を生成できるようになります。この技術は、AIが文章を作る際の「思考の柔軟性」を大きく向上させる可能性を秘めています。