COMPASS: 安全な検索エージェントのための認知的MCTS誘導プロセスアライメント

ニュース概要

LLM搭載の検索エージェントは多段階推論とツール使用を可能にしますが、これらの機能により検索誘発安全性低下をもたらします。有害な意図が一見無害な部分質問に分解され、安全でない結果につながる可能性があります。既存のアライメント手法は疎な安全性パターンの捕捉に苦労しています。