JetFlow：並列ツリードラフティングで投機的デコーディングのスケーリング限界を打破

大規模言語モデル（LLM）の進化は目覚ましいものがありますが、その裏側では「どうすればもっと速く、効率的に動かせるか」という技術的な挑戦が日夜続けられています。今回ご紹介する「JetFlow」は、そんな挑戦の一つ、特にLLMの応答速度を劇的に向上させる可能性を秘めた技術「投機的デコーディング（SD）」の弱点を克服しようとする研究です。

まず、投機的デコーディングとは何か、中学生にもわかるように説明しましょう。LLMが文章を生成する時、一つ一つの単語（トークンと呼びます）を順番に予測して出力します。これは、まるで一人でしりとりをしているようなものです。一つ前の単語を見て、次の単語を考える。これでは時間がかかりますよね。

投機的デコーディングは、このしりとりを「予測のプロ」に手伝ってもらうようなイメージです。まず、小型のLLM（ドラフターと呼びます）が「たぶんこんな単語が続くはず！」と、いくつかの単語を一気に予測してくれます。次に、本来の大型LLMは、その予測された単語の並びが「正しいかどうか」をまとめてチェックします。もし正しければ、その予測された単語の並びをまとめて出力し、間違っていれば、間違ったところから改めて予測し直す。こうすることで、一つずつ単語を考えるよりも、はるかに速く文章を生成できるわけです。

しかし、この投機的デコーディングにも課題がありました。それは、「スケーリングの限界」と呼ばれるものです。ドラフターが予測する単語の数を増やせば増やすほど速くなるかというと、そうではありませんでした。予測が的外れだと、結局大型LLMがほとんどの予測を「間違い」と判断してしまい、かえって時間がかかってしまうのです。まるで、的外れな予測ばかりする助っ人だと、かえって邪魔になるようなものです。

これまでの手法では、この「予測の質」と「予測にかかるコスト」のバランスを取るのが非常に難しかったのです。例えば、一つ前の単語に強く依存して予測する「自己回帰型ドラフター」は予測の質は高いのですが、ツリー状に深く予測しようとすると、その分コストがかさみます。一方、「双方向ブロック拡散ドラフター」は、一気に多くの単語を予測できますが、単語同士のつながりをあまり考慮しないため、個々にはもっともらしい単語でも、並べてみると不自然な文章になってしまい、結果として大型LLMに却下されることが多く、効率が悪かったのです。

そこで登場するのが「JetFlow」です。JetFlowは、これらの課題を解決するために、「ワンフォワードドラフティングの効率性」と「ブランチごとの因果条件付け」という二つの良いとこ取りを狙っています。簡単に言えば、一気に多くの単語を予測する効率の良さはそのままに、それぞれの単語が文脈に沿っているか、つまり「自然なつながりになっているか」をきちんと考慮して予測できるように工夫されている、ということです。これにより、ドラフターの予測の質が高まり、結果として大型LLMの処理速度をさらに向上させることが期待されています。LLMの応答がよりスムーズになることで、私たちのAI体験もさらに快適になるかもしれませんね。