ai2026/6/1 13:00:00
画像: Pexels
項目反応理論によるLLMベンチマークの監査
ニュース概要
LLMベンチマークのラベルはリリース時に固定され、エラーを含めたまま下流ベンチマークに静かに伝播される。本論文は項目反応理論に基づくインジケータを導入し、7つの選好評価および多肢選択ベンチマークにおいて95%の精度でトップ200の例における誤りラベルの可能性を検出する。
ニュースタイムライン
2026年5月29日
検出可能効果の事前登録：4ビット量子化ベンチマーク用ペアリングMDEバジェット、パイロット監査付きarXiv cs.LG
2026年6月1日
GraphARC: グラフベース抽象推論の包括的ベンチマークarXiv cs.AI
2026年6月1日
EHRBench: LLMを用いた臨床意思決定のための自動化された信頼性の高いEHRベースベンチマークarXiv cs.AI
2026年6月1日
TeachObs：マルチモーダル教授観察と モデル評価のための人間検証済みベンチマークarXiv cs.CL
2026年6月1日
Gait2Hip-60：マルチケイデンス歩行運動学からの股関節筋力と関節モーメント予測のための統合深層学習ベンチマークarXiv cs.LG
2026年6月1日
BilliardPhys-Bench: マルチモーダルLLMの物理推論と視覚ダイナミクスのベンチマークarXiv cs.AI
2026年6月2日
大規模言語モデルにおけるインタラクティブ推論の評価:実行可能なゲームを用いた階層的ベンチマークarXiv cs.AI
2026年6月2日
TrustLDM: 言語拡散モデルの信頼性ベンチマークarXiv cs.CL
2026年6月8日
MacArena: オンラインmacOS環境でのコンピュータ利用エージェントのベンチマークarXiv cs.LG
2026年6月8日
UnpredictaBench: LLMにおける分布的ランダム性を評価するためのベンチマークarXiv cs.CL
🤖
記事AI質問チャット
PREMIUMこの記事についてAIが質問に答えます。背景・要約・影響まで深堀り。
ログインして利用🛡️ 読者ファクトチェック0
読者が投稿し、管理者承認後に表示される事実確認情報
まだ承認済みのファクトチェックはありません。
ファクトチェックを投稿するには ログイン が必要です
関連記事
こんな記事も読まれています
コメント (0)
コメント投稿にはログインが必要です。
まだコメントはありません。最初のコメントを書いてみましょう。
この記事について疑問がありますか?
事実誤認や不適切な内容について通報できます (要ログイン)。
異議申し立て・通報