バランス型安全性アライメントのための設定可能なリワードモデル

ニュース概要

。大規模言語モデル（LLM）を異種かつ急速に進化する安全性要件に整合させることは重大な課題。既存の命令チューニング型LLMとスタンドアローン安全性分類器は新しい安全性設定への一般化に失敗することが多く、外部的に設定可能なリワードモデル（RM）の必要性が生じている。