MacArena: オンラインmacOS環境でのコンピュータ利用エージェントのベンチマーク

ニュース概要

コンピュータ利用エージェント（CUA）はビジョンと制御プリミティブを通じてグラフィカルユーザーインターフェース（GUI）を操作し、OSWorldなどの標準化されたオンライン評価ベンチマークにより能力が急速に進歩している。しかしmacOSは十分にカバーされておらず、既存の唯一のベンチマークmacOSWorldはApple Silicon互換性のないx86仮想マシンで動作する。本研究ではMacArenaを紹介し、50のアプリケーションにまたがる421の手動検証済みタスクからなるベンチマークで、OSWorldのキュレーション済みポート、macOSWorldのコンテンツ、および49の新しいmacOS固有タスクを組み合わせ、Apple Silicon上でAppleのネイティブ仮想化フレームワークで実行される。macOSはLinuxベースのベンチマークでは捉えられない独特のGUIチャレンジを提示し、評価結果から既存ベンチマークでの高いモデル性能は真のクロスプラットフォームGUI能力というより、タスク分布への馴染みを反映していることが示される。