バイトプレフィックス周辺化によるクロス・トークナイザー・オン・ポリシー・ディスティレーション

AI、特に大規模言語モデル（LLM）の世界では、日々新しい技術が登場しています。多くのAIは、人間が使う言葉をコンピューターが理解できる「トークン」という単位に変換する「トークナイザー」という仕組みを持っています。このトークナイザーは、AIが学習する上で非常に重要な役割を果たします。

さて、AI開発の現場では、複数の高性能なAIモデル（これらを「教師」と呼びます）が持つ良いところを、一つにまとめたより小さなAIモデル（これを「学生」と呼びます）に効率よく教え込む、という研究が進んでいます。この「知識の継承」のような技術を「オン・ポリシー・ディスティレーション（OPD）」と呼びます。 OPDを使えば、高性能だけど大きくて扱いにくいAIを、より手軽に使えるようにできるわけです。

しかし、これまでのOPDには大きな壁がありました。それは、教師モデルと学生モデルが、全く同じトークナイザーを使っていることが前提だったことです。現実には、異なる会社が開発したAIや、異なる目的のために作られたAIは、それぞれ独自のトークナイザーを持っていることがほとんどです。このトークナイザーの違いが、知識をうまく伝えられない原因になっていました。例えるなら、日本語を話す先生と、英語しか話せない生徒の間で、言葉を正確に理解し合うのが難しいような状況です。

この問題に対して、今回「バイトプレフィックス周辺化（BPM）」という新しいアプローチが提案されました。BPMは、このトークナイザーの壁を乗り越えるための画期的なアイデアです。具体的には、教師モデルが次にどんな言葉が来そうか、という「確率（可能性）」を、共通の「バイト」という、より基本的な単位で捉え直します。そして、その情報を学生モデルが理解できる形に「再マッピング」するのです。バイトは、文字よりもさらに細かい、コンピューターが直接扱いやすい最小単位のようなものです。この共通のバイト空間を介することで、たとえ元のトークナイザーが違っていても、教師モデルが持っている「言葉の繋がり」や「文脈」に関する知識を、より正確に学生モデルに受け渡すことができるようになります。

このBPM技術が実用化されれば、異なる特徴を持つ様々なAIの知識を、より効率的に一つの高性能な小型AIに集約できるようになります。これにより、私たちの身の回りで使われるAIが、より賢く、より便利になる可能性が広がると期待されています。