OSReward：クロスプラットフォームコンピューター使用報酬モデルの標準化された評価を確立

皆さんは、パソコンで色々な作業を自動でしてくれる「AI（人工知能）」を使ったことがありますか？例えば、指示した通りにファイルを開いたり、文章を作ったりするAIのことです。こうしたAIがちゃんと仕事をしてくれるか、性能はどうかを調べることを「評価」と言います。

これまで、AIの評価は、人間が実際にAIの動きを見て「OK」「NG」と判断したり、どこが間違っているかを書き込んだりする方法が中心でした。でも、AIがどんどん賢くなって、できることが増えてくると、人間が全部チェックするのは時間もかかるし、大変ですよね。そこで最近注目されているのが、「AIにAIを評価させる」という方法です。特に、「ビジョン言語モデル（VLM）」と呼ばれる、画像も文字も理解できるAIが、評価役として使われ始めています。

VLMは、AIの操作記録（軌道と呼ばれます）を見て、それが人間が期待する通りか、うまくできているかを判断できると考えられています。しかし、AIがAIを評価するなんて、本当に信頼できるの？と疑問に思う人もいるかもしれません。AIの評価が本当に正しいのか、客観的に確かめるための方法が、これまであまり確立されていなかったのです。

そんな中、東京大学などの研究チームが、この課題を解決するための新しい評価方法「OSReward」を開発しました。これは、AI（CUA）がパソコンを操作する様子を、現実世界で起こりそうな色々な場面を想定して、質の高いデータとして集めたものです。そして、このOSRewardという「ものさし」を使って、VLMがAIの操作をどれだけ正確に評価できるかを、はっきりと測ることができるようになります。

このOSRewardが広まれば、AI開発者たちは、自分たちの作ったAIがどれくらい優れているかを、より信頼できる方法で知ることができるようになります。評価方法が標準化されることで、AI開発のスピードアップや、より高品質なAIの実現につながるかもしれません。AIが私たちの生活をより便利にしてくれる未来に向けて、この新しい評価方法が重要な役割を果たしそうです。