DynaMiCS：動的混合を用いたパフォーマンス制約付きLLMのファインチューニング

最近、AIの世界では「大規模言語モデル（LLM）」という言葉をよく耳にするようになりました。これは、まるで人間のように文章を理解したり、生成したりできる、とても賢いコンピュータープログラムのことです。ChatGPTなどがその代表例ですね。

LLMは、特定の分野に特化させることで、さらに性能を高めることができます。例えば、医療の専門知識を学ばせたり、法律に関する文章をうまく扱えるようにしたりするわけです。これを「ファインチューニング」と呼びます。まるで、大学で専攻を選んで専門知識を深めるのに似ていますね。

しかし、ここで一つ大きな課題が出てきました。ある分野に特化させようとすると、それまで得意だった他の分野の能力まで、ついうっかり落としてしまうことがあるのです。例えば、医療の専門家にしたつもりが、普通の会話が苦手になってしまったり、指示をうまく理解できなくなってしまったり…。これは困りますよね。

そこで、Appleの研究者たちが新しい方法「DynaMiCS」を提案しました。これは、LLMが新しい知識を学ぶとき、ただ闇雲に混ぜるのではなく、「どの知識を、どれくらいのバランスで」学ぶかを、より賢くコントロールしようというアイデアです。これまでの方法では、決まったやり方でデータを混ぜるか、ある程度自動で調整するルールがありましたが、それだけでは、せっかくの「普通に話す能力」や「指示を聞く能力」、「安全に振る舞う能力」といった、大切な基礎能力まで維持するのが難しかったのです。

DynaMiCSは、これらの大切な能力を「ちゃんと維持できているか？」を常にチェックしながら、新しい専門知識を学んでいくイメージです。これにより、特定の分野に強くなるだけでなく、もともと持っていた賢さも失わずに済む、というわけです。まるで、新しいスキルを習得しながらも、自分の基礎体力や教養をしっかりキープするようなものですね。この技術が進めば、AIはもっと色々な場面で、私たちの役に立ってくれるようになるかもしれません。