SENSE: 検索ベースの推測的デコーディングのためのセマンティック埋め込みナビゲーション（ソフトゲート評価付き）

ニュース概要

推測的デコーディング（SD）は軽量なドラフトモデルを使用して候補トークンを提案し、ターゲットモデルによって並列で検証することで、大規模言語モデル（LLM）の推論を加速化します。生成品質を損なわないまま実現されます。検索ベースの推測的デコーディング（RSD）はその利点から好まれています。