エージェントタスクのためのオブジェクト中心環境モデリング

最近、AIの世界では「エージェント」と呼ばれる、自分で考えて行動するAIの開発が活発になっています。特に、ChatGPTのような「大規模言語モデル（LLM）」を使ったエージェントは、たくさんの経験を積むことで賢くなっていきます。しかし、その経験を「記憶」しておくのが難しいという課題がありました。まるで、たくさんのことを学んだけど、ノートに書き留めておかないと、後で「あれ、どうだったっけ？」となってしまうようなものです。しかも、その記憶がどんどん溜まっていくと、整理したり、本当に役立つ情報を見つけ出したり、新しいことに応用したりするのが大変になってきます。

そこで、この研究では「オブジェクト中心環境モデリング（OCM）」という新しい方法を提案しています。これは、AIが経験したことを、まるで「モノ」とその「仕組み」に分けて整理していくイメージです。例えば、部屋の中にある「机」や「椅子」といった「モノ」それぞれに、どんな性質があって、どう動くのか（例えば、机は動かないけど、椅子は座れる）といった情報を「オブジェクト知識」としてコード（プログラムの元になる言葉）で表現します。さらに、これらの「モノ」を使って何かをする時の「やり方」や「手順」も、「手順知識」として別のコードで記録します。この二つのコードベースが連携することで、AIは環境をより深く理解できるようになります。

OCMのすごいところは、AIが実際に動きながら（オンライン設定）、経験したことをどんどん学んでいく点です。エピソードが終わるたびに、AIは自分の行動を振り返り、その経験を元に「オブジェクト知識」と「手順知識」を更新していきます。そして、次に何か行動する際には、必ず更新された「モノ」のモデルに基づいて、手順が正しく実行できるかを確認します。これにより、AIは常に最新かつ正確な知識で行動できるようになるのです。これは、AIがより複雑で現実世界に近いタスクをこなせるようになるための、大きな一歩と言えるでしょう。