UNIQUE: 訓練不要な推論とスパーシティ対応訓練のための普遍的トップkスパース注意

ニュース概要

大規模言語モデルの長文脈推論は、自己注意キー値キャッシュの線形増加によってボトルネックとなっている。トップkスパース注意はキャッシュの一部のみをロードすることで緩和するが、キャッシュ重要度を正確かつ安価に推定することが課題である。