MawForge：ローカルMixture-of-Experts推論のためのメモリ制約付きエキスパートマテリアライゼーション

最近、AIの進化が目覚ましいですよね。特に、文章を作ったり絵を描いたりする「大規模言語モデル」は、私たちの生活を便利にしてくれる可能性を秘めています。でも、これらのモデルはとても賢い分、動かすためにはたくさんのコンピューターの力（メモリや計算能力）が必要なんです。

そこで、今回は「MawForge（モーフージ）」という新しい技術のお話です。これは、私たちが普段使っているパソコンやスマホのような、限られたコンピューターの力でも、高度なAIモデルを動かせるようにするための工夫なんです。

AIモデルには、「Mixture-of-Experts（MoE）」という仕組みがあります。これは、たくさんの専門家（エキスパート）が集まって、それぞれ得意な分野を担当するようなイメージです。文章を作る時も、文脈に合わせて「この部分は歴史に詳しい専門家」「こっちは科学に詳しい専門家」というように、必要な専門家だけを呼び出して作業を進めます。そうすることで、モデル全体の大きさはすごくても、実際に動かす時には一部の計算だけで済むので、効率が良いのが特徴です。

しかし、これまでのAIモデルを私たちが使うパソコン（ローカル環境）で動かすには、モデル全体をメモリに読み込んだり、計算途中のデータを一時的に保存したり、パソコン自体の動きをスムーズにするための予備のメモリも必要だったりと、かなりのメモリが必要でした。これが、AIを身近なデバイスで使う上での大きな壁となっていたのです。

MawForgeは、この壁を乗り越えるために、ちょっと変わった方法を試しました。なんと、AIモデルの「本体」はパソコンのメモリではなく、もっと大容量で安価な「ディスク」に置いておくことにしたのです。そして、パソコンのメモリには、頻繁に使う共通の部分だけを置いておきます。さらに、AIが文章を作る際に「この専門家が必要だ」と判断したら、その専門家（エキスパート）のデータだけを、必要な時だけ一時的にメモリに読み込んで使うようにしたのです。まるで、図書館で本を借りてきて、読みたいページだけを机に広げて読むようなイメージですね。

この研究では、「MawForgeは、限られたメモリの中でもAIモデルを効率よく動かすための仕組みとしては有効だけれど、メモリを最大限に活用する『賢い使い方』としては、まだまだ改善の余地がある」ということが分かりました。AIの性能は、専門家がどれだけ再利用されるか、メモリにどれだけのデータを置いておくか、データの圧縮（量子化）の度合い、専門家を選ぶ仕組み（ルート局所性）、そしてパソコンのメモリ状況（macOSのメモリプレッシャー）など、色々な要素のバランスで決まるようです。

この技術が進めば、将来、私たちのパソコンやスマホでも、今よりもっと高性能なAIを、もっと手軽に使えるようになるかもしれませんね。