DLLM-JEPA: マスク付き拡散言語モデルのための結合埋め込み予測アーキテクチャ

ニュース概要

結合埋め込み予測アーキテクチャ(JEPA)はビジョンにおける自己教師あり表現学習を再構築しています。最近のLLM-JEPAは自動回帰言語モデルにJEPAを移植しましたが、因果注意メカニズムから2つの大きなコストを継承しています：明示的なマルチビュー情報(テキスト-コードペアなど)が必要とされます。