固定予算を超えて：Tree-of-Thought推論戦略の非弾力性と限界の特性評価

大規模言語モデル（LLM）が、まるで人間のように考え、複雑な問題を解く能力を高めるために、色々な賢い方法が試されています。その中でも「Tree of Thought（Tree of Thought）」という考え方、つまり「思考の木」を広げていくようなアプローチが注目されています。これは、一つの答えを出すだけでなく、たくさんの可能性を枝のように広げ、そこから一番良い道筋を見つけ出すイメージです。この技術を使うと、LLMは数学の問題を解いたり、複雑な推論をしたりする力がぐっと増すと考えられています。

しかし、この「思考の木」を実際に使う場面では、いくつかの課題が浮き彫りになってきました。特に、どれくらいの「計算力（予算）」を使えるか、モデルの「賢さ（サイズ）」はどのくらいか、そして問題がどれくらい「難しいか」によって、この「思考の木」の広げ方（検索戦略）がどう影響を受けるのか、という点が、これまであまり詳しく調べられてこなかったのです。

今回、この課題に光を当てる研究が行われました。研究チームは、「思考の木」を実現する二つの代表的な方法、「DPTS」と「SSDP」に注目しました。DPTSは、たくさんの選択肢の中から「あたり」を探すくじ引きのような手法（モンテカルロ木探索ベース）で、SSDPは、同じような考えを繰り返さないように賢くスキップしていく手法（意味的重複排除ベース）です。これらを、数学の問題を解くための二つの有名なテスト（Math500とGSM8K）で試しました。さらに、モデルの賢さも、比較的小さな「Llama-3B」と、それより大きな「Llama-8B」の二種類で比べ、使える計算力も4段階（3000～10000トークン）に分けて、その性能をじっくりと分析しました。

その結果、驚くべきことが分かりました。この二つの手法は、それぞれ得意な状況と苦手な状況が、まるで正反対だったのです。DPTSは、少ない計算力（低予算）だと、最初の一歩を踏み出すのに苦労してしまう「コールドスタート」という問題にぶつかります。価値のある情報を見つけるには、ある程度、計算を重ねて「木」を育てていく必要があるのですが、計算力が限られていると、そこまでたどり着けないのです。計算力（高予算）をたくさん使えば、性能はしっかり伸びるのですが、計算力が限られている状況では、あまり役に立たない、ということが明らかになりました。つまり、どんな状況でも万能な「思考の木」の広げ方というのは、まだ見つかっていない、ということなのです。