RL研究者はシミュレーターを解くことと、デプロイメントの代理としてシミュレーターを使うことを区別する必要がある

AI、特に「強化学習（RL）」の世界では、コンピューター上で作られた仮想空間（シミュレーター）を使って、AIに色々なことを学ばせる研究が盛んに行われています。たとえば、ゲームのAIを作る場合、実際にゲームをプレイさせながら、どうすればもっと上手くプレイできるかを学ばせるわけです。

この研究の大きな目的の一つは、現実世界での応用（デプロイメント）に役立つ、汎用的な「賢さ」を理解すること。つまり、シミュレーターで学んだことが、現実の様々な場面で通用するようなAIを作りたい、というわけです。しかし、ここで一つ、研究者たちが注意すべき大切なポイントがある、と今回の論文は指摘しています。

それは、「シミュレーターで高い成績を出すこと」と「現実世界で役立つAIを育てること」を、混同してはならない、という点です。研究者の中には、シミュレーターの中でとにかく高いスコアを出すことを最優先するあまり、そのシミュレーターを「攻略」することだけを考えてしまうケースがあるようです。その結果、AIはシミュレーターの中では無敵になっても、いざ現実世界に置かれたときには、まったく役に立たない、という事態になりかねません。

もちろん、シミュレーターを「攻略」する研究自体も、AIの能力を深く理解する上で興味深いテーマです。しかし、それは「現実世界で応用できるAIを作る」という、本来の研究目的とは少し違う、「別の質問」に答えるための研究だ、と論文は述べています。

今回の論文では、研究者に対して、シミュレーターを「攻略する」ための道具として使う場合と、現実世界での学習の「代理」として使う場合、この二つの使い方をきちんと区別して研究を進めるべきだと主張しています。そして、それぞれの使い方によって、AIに課す「制約」、使うべき「アルゴリズム」、そして成績を測る「評価方法」が、それぞれどう違うのかを詳しく解説しています。この区別を明確にすることで、より実りある強化学習の研究が進むことが期待されます。