ポリシー内蒸留によるデータ効率的な自己回帰型から拡散型言語モデルへの変換

AIの言語モデルは大きく二つの流派に分かれている。一つは「次の文字を予測する」という単純な目標で学習する自己回帰型で、ChatGPTなどが採用している。もう一つは「ランダムに壊された文を直す」という拡散型だ。新しい研究論文は、この二つの流派を統合しようとしている。

なぜこんなことを考えるのか。拡散型には利点がある。訓練と実運用の方法が同じなので効率的で、双方向の文脈を使えるため理解が深い。しかし実装は複雑で、学習も遅い。一方、自己回帰型は高速で実装がシンプルだが、片方向の予測しかできない。

これまでの変換方法は単純だった。自己回帰型の注意機構を双方向に変えて拡散型の目標で訓練し直す。ただし問題が二つある。第一に、元のモデルが習得した知識が失われる。訓練目標が全く違うため、一から学び直しになってしまう。第二に、拡散型は訓練と推論のズレがある。訓練では「壊れた文を直す」ことをするのに、実運用では違う方法を使う矛盾が起きる。

今回の研究はこれを解決する方法を提案している。ポイントは「蒸留」という技法だ。新しいモデル（生徒）が自分で壊れた文を直す練習をしながら、元のモデル（先生）にアドバイスをもらう。先生は「この場合はこういう確率分布で答えるべき」というお手本を示す。生徒は先生のアドバイスに従いながら学ぶため、元の知識を失わない。同時に、生徒自身の軌跡で訓練するので、訓練と推論のズレも消える。

実験結果が驚くほどだ。従来方法と比べて、15倍から7000倍も少ないデータ量で同等の性能を達成している。つまり、環境に優しく、費用も安く済む。GPUの電力消費は業界の大きな課題だから、この効率化は重要な進歩だ。

この研究が示すのは、異なるアプローチを無理に統一するのではなく、互いの長所を活かしながら融合させる設計思想の価値である。AIの世界でも、実装と理論のバランスが重要になってきている。