レイヤーをスキップするか、ループするか？LLMにおけるプログラム・オブ・レイヤーの学習

ニュース概要

大規模言語モデル（LLM）は従来、固定の深さと順序で全レイヤーを非反復的に実行して推論を行う。本研究は、訓練不要で柔軟な動的プログラム・オブ・レイヤー（PoLar）が広く存在することを明らかにする。事前学習されたレイヤーをモジュールとしてパッキングしてスキップまたはループさせ、各入力に対してカスタマイズされたプログラムを形成できる。ほとんどの入力では、大幅に短いプログラム実行で同等以上の精度を達成でき、元のLLMの誤った予測も、より少ないレイヤーを持つ別のプログラムで修正できる。これらの観察は、推論が標準的なフォワードパスを超えた複数の有効な潜在計算を認めることを示唆している。実践的にPoLarを効率的に実現するため、軽量なPoLar予測ネットワークを提案する。このネットワークは各入力に対して事前学習されたレイヤーを動的にスキップまたは繰り返す実行プログラムの生成を学習する。数学的推論ベンチマークでの実験により、PoLarは標準推論および従来の動的深さ手法と比べて一貫して精度を改善し、多くの場合より少ないレイヤーを実行することを示す。