項目反応理論によるLLMベンチマークの監査

ニュース概要

LLMベンチマークのラベルはリリース時に固定され、エラーを含めたまま下流ベンチマークに静かに伝播される。本論文は項目反応理論に基づくインジケータを導入し、7つの選好評価および多肢選択ベンチマークにおいて95%の精度でトップ200の例における誤りラベルの可能性を検出する。