LoRAアダプターの特徴幾何学：微調整言語モデルにおける表現的乖離のスパースオートエンコーダ分析

ニュース概要

Low-Rank Adaptation（LoRA）は大規模言語モデルの適応に広く採用されているアプローチですが、LoRA微調整によって引き起こされる内部表現の変化はまだ十分に理解されていません。本研究では、スパースオートエンコーダを使用してLoRA誘導表現の幾何学的構造を調査します。