🚀ローカル LLM 選び、もう「VRAM に入る一番デカいやつ」で決めるの卒業しよ？ - whichllm を RTX 4060 Ti 16GB で測ってみた - Qiita

最近、AI（人工知能）の世界で「LLM（大規模言語モデル）」という言葉をよく耳にしませんか？ ChatGPTのような、まるで人間と話しているかのような自然な文章を作り出すAIのことです。このLLMを、自分のパソコンで動かしたい！と考える人が増えています。これが「ローカルLLM」です。

でも、いざ自分で動かそうとすると、「どのLLMを選べばいいの？」と迷ってしまうことが多いんです。これまでは、「とにかく一番性能が良い、一番大きなLLMを選ぼう！」「自分のパソコンのメモリ（VRAM）に収まる一番デカいやつなら、きっとうまく動くだろう」という考え方が一般的でした。例えるなら、お店で一番高いワインを選ぶような感覚でしょうか。

しかし、この記事では「その選び方、もう古いかも？」と提案しています。なぜなら、LLMの性能は、ただ「大きい」だけで決まるわけではないからです。例えば、同じ大きさでも、作り方（学習のさせ方）が違うと、得意なことや不得意なことが出てきます。また、パソコンの性能も、メモリの大きさ（VRAM）だけでなく、処理速度など、色々な要素が関係してきます。

この記事を書いた人は、具体的なパソコン（RTX 4060 Ti 16GBという、高性能なグラフィックボードを搭載したもの）を使って、色々なLLMを試してみました。その結果、「VRAMに収まる一番大きいモデル」という選び方だけでは、必ずしも最適なLLMが見つからないことを、データで示しています。つまり、LLMを選ぶ際には、単に「サイズ」だけでなく、そのLLMがどんなことに得意で、自分のやりたいことに合っているのか、そしてパソコンの性能との相性も考える必要がある、というわけです。

この考え方は、私たちのようなITに詳しい人だけでなく、これからAIを自分の仕事や趣味に活かしたいと考えている人にとっても、とても参考になるはずです。LLM選びの新しいスタンダードが生まれるかもしれませんね。