タイムライン検索

2026年4月14日

Gemini Robotics ER 1.6 は空間推論とマルチビュー理解を強化し、自律ロボティクスに対応

Google DeepMind

2026年5月8日

HeadsUpと呼ばれるスケーラブルなフィードフォワード手法を提案します。大規模マルチカメラセットアップから高品質の3Dガウシアンヘッドを再構成するもので、効率的なエンコーダ-デコーダアーキテクチャを採用しています。

Apple Machine Learning Research

2026年5月29日

arXiv:2605.29123v1 公表予定タイプ：新規 概要：マスク拡散言語モデル（MDM）は任意の順序の生成をサポートしており、信頼度ベースのデコーディングが事実上標準的な推論ポリシーとして機能している。これを最適化するため、最近のトレーニングスキームでは、生成時に観察されるマスクパターンと直接整合させることを試みている。

arXiv cs.AI

2026年5月29日

推測的デコーディングは、ドラフト・検証パラダイムを通じて大規模言語モデルの推論を加速させますが、語彙サイズの拡大に伴い出力投影層がボトルネックになります。既存の静的プルーニング方法は有効にこのオーバーヘッドを削減しますが、受け入れ率の大幅な低下という課題があります。

arXiv cs.CL

2026年6月1日

arXiv:2605.30641v1 大規模言語モデル(LLM)は、思考の連鎖(CoT)生成中に社会的偏見を明らかにし、増幅する可能性がある。本論文では、デコード時にトークンレベルのフェアネス制御を適用する訓練不要のデコーディング方法であるCOFT（フェアな思考の連鎖）を提案し、分布自由の周辺有効性を保証する。

arXiv cs.CL

2026年6月1日

推測デコーディングは大規模言語モデル（LLM）の推論において重要な要素となり、複数のトークンをドラフト作成し並列検証することで高速な生成を実現している。しかし小規模ドラフトモデルは多言語対応で顕著な性能低下が生じる傾向にある。

arXiv cs.CL

2026年6月2日

言語拡散モデル（LDM）の急速な発展は、言語処理における自己回帰型モデルの優位性に課題を提示しています。ただし、その柔軟な任意順序デコーディング戦略は高速なデコーディング速度を実現する一方で、新しい信頼性の課題をもたらす可能性があります。

arXiv cs.CL

2026年6月2日

推測デコーディングは、ドラフタが複数のトークンを提案し、検証者が並列で検証することによって、自己回帰デコーディングを高速化します。リソース制約のあるデプロイメントでは、ドラフタはスパースKVキャッシュを使用して、固定KV予算下でのピークGPUメモリとエンドツーエンドレイテンシを制限し、検証者が検証します。

arXiv cs.LG

2026年6月2日

結合埋め込み予測アーキテクチャ(JEPA)はビジョンにおける自己教師あり表現学習を再構築しています。最近のLLM-JEPAは自動回帰言語モデルにJEPAを移植しましたが、因果注意メカニズムから2つの大きなコストを継承しています：明示的なマルチビュー情報(テキスト-コードペアなど)が必要とされます。

arXiv cs.CL

2026年6月2日

大規模言語モデル（LLM）における長文脈デコーディングは、広範なキー・バリュー（KV）キャッシュをフェッチするために必要なメモリ帯域幅によって厳しく制限されています。既存のKV管理方法の大多数はデコーディング前のキーのみプルーニングに依存していますが、注意出力はキーと値に共同で依存することが実証されています。

arXiv cs.CL

2026年6月2日

推測的デコーディング（SD）は軽量なドラフトモデルを使用して候補トークンを提案し、ターゲットモデルによって並列で検証することで、大規模言語モデル（LLM）の推論を加速化します。生成品質を損なわないまま実現されます。検索ベースの推測的デコーディング（RSD）はその利点から好まれています。

arXiv cs.CL

2026年6月8日

科学分野では、少ない訓練例から高次元出力を予測する回帰タスクが頻繁に必要とされる。多出力ガウス過程は低データ体制で優れているが、通常は高次元出力に対応できない。PCA-GPなどの圧縮後予測パイプラインは高次元性を扱えるが、予測ではなく再構成に最適化された基底に依存している。このギャップに対処するため、ガウス過程事前分布から抽出した低次元潜在状態の線形ガウスデコーディングとして各出力を表現するモデルを提案する。デコーダの重みを解析的に周辺化することで、圧縮と予測を単一の目的関数に結合し、高次元出力に対応可能にした。このモデルをGaussian process latent factor regression (GPLFR)と呼ぶ。本研究では、ロッキータイプ系外惑星の全球気候モデルの初の空間分解エミュレータを構築することによってGPLFRを実証した。

arXiv cs.LG

2026年6月10日

arXiv:2606.09859v1 新規発表 要約：MLLMは、視覚的入力と一致しないオブジェクトを頻繁に幻視します。この問題は通常、言語プリアイアンスへの過度の依存に起因しますが、これは視覚的コンテキストを上書きする可能性があります。最近のトレーニングフリーのデコーディング戦略は、言語プリアイアンスを罰することでこれに対処します。しかし、これらの方法は、視覚的証拠との整合性に応じて、言語プリアイアンスが有益であると同時に有害であるという二重の性質を見落としています。特に、言語プリアイアンスを盲目的に抑制すると、モデルのセマンティック多様体が破壊され、パフォーマンスが低下する現象が発生します。これを「多様体逸脱」と呼びます。この問題に対処するために、Manifold-Guided Adaptive Projection (MGAP) を提案します。これは、幻視を緩和しつつ、表現構造を維持する、ジオメトリを認識したトレーニングフリーのデコーディング手法です。MGAPはまず、SVDを介して盲目の隠れ状態から言語プリアイアンスサブスペースを構築します。

arXiv cs.LG

2026年6月11日

arXiv:2606.11203v1 新規発表 構造化シーケンス生成では、しばしば1つの出力で複数の入力由来の制約を満たすことがモデルに求められます。標準的なデコーディング手法では、流暢な継続に高い確率を割り当てる一方で、必要なアンカーをすべて同時に実現する継続には低い確率を割り当てる可能性があります。これをレアケース逐次推論問題として研究します。LatticeBridgeは、コンパクトなプレフィックス言語モデル、インスタンスコンパイルされたサーフェスオートマトン、そしてリサンプリング、マルチレベル分割、インスタンス提供フレーズから導出されるソースサポート提案項を備えたツイスト逐次モンテカルロ（SMC）デコーダーを組み合わせます。制約表現は各入力インスタンスからコンパイルされ、手動でキュレーションされた語彙クラスに依存しません。

arXiv cs.CL

2026年6月16日

Causal Transformersは、同時分布の自己回帰的因数分解を通じてシーケンスをモデル化し、効率的な左から右へのデコーディングと条件付き尤度計算を可能にします。しかし、任意の条件（例：過去と未来のトークンに条件付けられたテキストブロック）からのサンプリングや評価を効率的に行うことはできません。最近の研究では、新しいアーキテクチャを通じてこの問題の解決を目指していますが、そのような条件のモデル化が最適でなく、生成結果が低下することがよくあります。我々は、標準的なCausal Transformersに簡単な変更を加えることで、単一のフォワードパス内で、過去、未来、混合コンテキストを含む任意の条件からの評価とサンプリングを可能にするArbitrary Conditionals GPT (AC-GPT)を提案します。先行研究とは異なり、我々の手法は、自然言語における高いパフォーマンスと効率的なトレーニングの両方に不可欠な、標準的な左から右への順序と次トークン予測の目的を維持します。重要なのは、この互換性により、既存のLLMを任意の条件付けのためにファインチューニングできることです。

arXiv cs.CL

2026年6月17日

この記事では、Amazon SageMaker AI内でP-EAGLEを直接使用する方法を解説します。SageMaker JumpStartカタログから互換性のあるモデルを選択し、並列ドラフトの仕様を設定して、生成AIアプリケーションを高速化する高度に最適化されたリアルタイムSageMaker AIエンドポイントをデプロイする方法をデモンストレーションします。

AWS Machine Learning Blog

2026年6月18日

大規模音声言語モデル（LALM）は、音声文字起こしから音楽分析まで、多様な音声理解タスクにおいて印象的な能力を示してきました。しかし、LALMは通常、テキストに合わせた応答を生成するように訓練されているため、その隠れ状態は、音響情報を保持するためではなく、テキスト生成のために段階的に形成されます。その結果、音声が持つ音素の詳細、イントネーション、音響イベント、感情、ピッチなどの多様な音響コンテンツは、途中で失われ、応答で活用することが困難になります。私たちは、応答生成に先立って音響情報を整理するための継続的な潜在ワークスペースを音声言語モデルに装備するフレームワークであるContinuous Audio Thinking（CoAT）を提案します。これは、音声専門家からの知識蒸留によって基盤が作られています。思考空間内では、モデルは応答を生成する際に、専門家からの知識蒸留によって提供される豊かな音響情報を利用できます。さらに、提案された継続的思考ブロックは単一のプリフィルで処理できるため、CoATはベースラインを超える追加の自己回帰デコーディングコストを必要としません。

arXiv cs.CL

2026年6月18日

投機的デコーディング（SD）は、複数のトークンをドラフトし、それらを並列に検証することで、自己回帰型大規模言語モデル（LLM）を高速化しますが、スケーリング上の限界に直面しています。ドラフト予算を増やしても、受理率が高く、ドラフトのオーバーヘッドが低い場合にのみ速度が向上します。この限界は、従来のヘッドベースのSD手法が因果関係と効率性のジレンマに直面しているため、打破が困難でした。自己回帰型ドラフターは、パス条件付き候補を生成し、これらは高い受理長を持つツリー投機的デコーディングに効果的ですが、そのドラフトコストはツリーの深さに比例して増加します。双方向ブロック拡散ドラフターは、一度のパスですべての位置を生成しますが、そのブランチに依存しない周辺分布は、個々にはもっともらしくても相互に矛盾するツリーを形成する可能性があり、予算を無駄にし、受理率を低下させます。本稿では、ヘッドベースのSDフレームワークであるJetFlowを提案します。これは、ワンフォワードドラフティングの効率性とブランチごとの因果条件付けを組み合わせたものです。

arXiv cs.CL

2026年6月19日

コンテキスト内学習（ICL）は、LLMが少数のデモンストレーションから新しいタスクに適応することを可能にしますが、その信頼性は依然として懸念事項です。予測はプロンプト設計とコンテキスト理解能力の両方に非常に敏感であり、失敗がデータ特性に起因するのか、モデルの限界に起因するのかが不明瞭になります。不確実性の分解、すなわち偶然的（aleatoric）なものと認識的（epistemic）なものの分離は、この設定において特に重要ですが、標準的な生成タスク用に設計された既存の方法では、ICLのユニークなダイナミクスを捉えきれません。この問題に対処するため、ベイズ的見解とICLのメカニズム的解釈可能性に基づいて構築された、self-function vectorという概念を導入します。これらのベクトルは、内部モデル表現を活用して、コンテキスト内プロンプティング中に学習された潜在概念をモデル化します。これにより、ベイズ的フレームワーク内で偶然的uncertaintyを直接推定することが可能になり、脆弱な入力やデコーディング操作への依存を回避できます。

arXiv cs.CL

2026年6月20日

コンテキスト内学習（ICL）は自己回帰（AR）LLMで広く研究されているが、拡散大規模言語モデル（dLLM）におけるそのメカニズムはほとんど未解明のままである。ARモデルは単方向の因果マスキングに制約されるのに対し、dLLMは本質的に双方向アテンションを利用し、クエリ配置に広範な空間的柔軟性を提供する。しかし、現在の実践ではARスタイルの後続クエリテンプレートが慣習的に継承されており、構造的なパラダイムシフトが見過ごされがちである。本稿では、クエリ位置がdLLMにおいて実際に一次変数であることを明らかにする包括的な分析を提示する。経験的な分離を通じて、位置の変動が例のセマンティック品質と同等に生成品質に影響を与えることを実証する。内部的には、この位置的感度は、アテンションフローにおける空間的な「新近性効果」と、デコーディング軌跡におけるタスク依存的なシフトに起因する。正解ラベルなしでこの不安定性を緩和するために、従来の単一ステップ信頼度（C_decoded）がdLLMでは失敗することを明らかにする。

arXiv cs.CL

2026年6月25日

投機的デコーディングは、マルチバッチ長文脈大規模言語モデル（LLM）の推論スループットを向上させますが、その効率は、キー・バリュー（KV）キャッシュのロードがレイテンシを支配する検証ボトルネックによってしばしば制限されます。既存の圧縮方法はこの状況では機能しません。静的除外は顕著性のシフトによる精度低下を引き起こし、動的選択は検証パス中に許容できない計算オーバーヘッドを導入します。私たちは、長文脈の投機的デコーディングのために設計されたスパース検証フレームワークであるDustinを提案します。Dustinは、ドラフトモデルからのルックアヘッド信号とターゲットモデルからの履歴アテンションを統合し、マルチステップ検証ウィンドウ全体で高忠実度で重要なトークンを特定します。再計算レイテンシを削減するために、このアプローチはさらに、アテンションヘッドの最小サブセットに重要度スコアリングを制限するスパース推定スキームを採用しています。

arXiv cs.CL

2026年6月29日

マルチトークン予測は、トレーニング中のデータ密度を向上させ、下流のテキスト生成品質を改善することが示されており、自己投機的デコーディングの事実上のアプローチとして機能します。MTPヘッドを使用する既存の基盤モデルおよびオープンソースモデルは、生成シーケンス全体で静的なツリーベースの注意トポロジーにコミットしており、これは、推論の深さ、したがって検証中に必要な計算量が、コンテキストに関係なく一定であることを意味します。これは、自然言語のエントロピーパターンとは根本的に一致していません。自然言語では、低エントロピー領域は信頼性の高いマルチステップドラフトをサポートすることが多いですが、高エントロピー領域はより保守的な推論を必要とします。これを解決するために、ローカル生成エントロピーの実行中の推定値に基づいて、タスク固有のパレート最適ツリーのセットからツリーベースの注意トポロジーを切り替える、トレーニング不要のスケジューラであるエントロピー誘導型マルチトークン予測（EntMTP）を提案します。

arXiv cs.CL

2026年7月1日

ここ最近、立て続けに投機的デコーディングの手法が出てきているので、備忘録も兼ねて記事にまとめました。投機的デコーディングの概要をふまえた上で、EAGLE-3、DFlash、DSpark という3つの発展的な手法について紹介します。 はじめに：投機的デコーディングとは何か？

Zenn

2026年7月3日

トークンキャンバスを左から右にトークンを放出するのではなく双方向にノイズ除去することでテキストを生成する拡散言語モデルは、自己回帰（AR）生成に匹敵するようになっています。しかし、医療基盤モデルは、ほぼ完全に自己回帰のままです。私たちは、専門家混合拡散言語モデルDiffusionGemma-26Bを適応させ、医療画像質問応答データセットで、同じサイズのAR兄弟であるGemma-4-26Bと比較ベンチマークしました。この比較では、同一のLoRAレシピを使用し、冗長性に強いLLMジャッジによってスコアリングされました。拡散モデルは、すべてのベンチマークにおいてARと同等またはそれ以上の性能を示し、ファインチューニングされたモデル（アクティブ3.8B）は最先端のビジョン言語モデルと競争力があります。また、デコーディング速度も3.5～4.4倍高速です。この同等性に加えて、拡散モデルはARにはないドラフト作成機能を提供します。それは「任意の順序でのインフィル」です。キャンバスは双方向にノイズ除去されるため、放射線科医はレポートの断片を修正し、その間のテキストをモデルに補完させることができます。

arXiv cs.AI

2026年7月3日

推論言語モデルは、しばしば長い思考連鎖（CoT）を生成しますが、これはデコーディングフェーズ中に大量のKVキャッシュを蓄積し、デコーディング遅延の増大とスループットの制限を招きます。これらの問題に対処するため、KVキャッシュ圧縮は、後続のデコーディングに有用なKVペアを保持しながら重要でないKVペアを選択的に削除することでメモリオーバーヘッドを削減する有望な技術として登場しました。それにもかかわらず、既存のKVキャッシュ圧縮方法には2つの主要な限界があることを特定しました。1）それらの閾値トリガー圧縮ポリシーは、スループットの改善が限定的であるか、あるいはスループットを低下させる可能性があり、シーケンスの特定のブロックからKVペアを完全に削除する可能性があり、情報損失を悪化させる可能性があります。2）それらは通常、孤立したKVペアまたは厳格な境界を持つ固定サイズのチャンクのいずれかを保持し、任意のトークン位置で重要な柔軟なサイズのチャンクを保持できません。

arXiv cs.CL

2026年7月3日

被験者間のEEGストレス検出は、識別性の高いストレス関連パターンが被験者依存かつ周波数特異的であるため、依然として困難です。従来のリーマン法は主に時間領域で空間共分散をモデル化し、高次認知状態のデコーディングに不可欠な神経振動を見落としますが、標準的な時間的トークン化はスライス間の時間的コヒーレンスをしばしば断片化します。これらの限界に対処するため、EEGベースのストレス検出のためのintra-interリーマン多様体アテンションネットワークであるI2RiMAを提案します。I2RiMAは、各周波数ポイントで独立に空間共分散行列を構築し、それをSPD接空間にマッピングすることで、チャンネルごとの幾何学的構造と周波数特異的な識別手がかりを保持します。さらに、周波数クラスタリング集約を導入し、EEGリズムに沿ったコンパクトでデータ駆動型の周波数クラスタを形成することで、情報量の多いスペクトル成分を選択し冗長性を低減します。

arXiv cs.LG

2026年7月6日

我々は、アテンションベースのエンコーダー・デコーダー（AED）モデルと長尺音声エンコーディングの根本的な不一致に取り組みます。セグメント化された発話で学習したAEDモデルは、セグメント境界を超えた限られた音響コンテキストを利用して絶対フレーム位置をエンコードすることを学習しますが、これらの手がかりが失われる長尺セグメントのデコーディングでは一般化できません。

Apple Machine Learning Research

2026年7月7日

音声言語モデルはコードスイッチング音声に対応可能ですが、そのデコーディングはコードスイッチングに最適化されておらず、言語境界で失敗することがよくあります。本研究では、グループ相対方策最適化を組み合わせた、検証可能な報酬を持つ実用的な強化学習手法を提案します。この手法は、エラー率報酬と、誤った表記体系を罰するスクリプト忠実度報酬、および2段階のドラフト・改良手順を組み合わせることで、音声言語モデルをコードスイッチングASRにデータ効率的に適応させます。再現可能なテストベッドとしてQwen2-Audioを10の言語ペアで使用し、TTSコードスイッチング音声のみで学習させた結果、RLVRはデータ量の10%でLoRA教師ありファインチューニング（全データセットで学習）と同等の性能を示し、特に類型学的に離れたペアで最大の効果が得られました。エラー率報酬は翻訳エラーを排除し、スクリプト忠実度報酬は劣化なくスクリプトの混入を個別に削減します。これらの改善は、人間が録音したコードスイッチングコーパスにゼロショットで転移します。

arXiv cs.CL

2026年7月20日

本稿では、ポーズ付き入力画像セットからトークンを処理するマルチビュー・トランスフォーマーの位置エンコーディングを研究する。パッチを一意にエンコードし、マルチ周波数類似度によるSE(3)不変アテンションを可能にし、基盤となるシーンのジオメトリに適合できるメカニズムを模索する。

Apple Machine Learning Research

2026年7月24日

国連およびユネスコ決議における段落レベルの論証マイニングに関するArgMining 2026のUZH共有タスクで優勝したシステム、LLM-INSTRUCTを紹介します。このタスクは、最大8Bパラメータのオープンウェイトモデルのみを使用し、厳格なJSONスキーマ設定下での段落タイプ分類、141個の公式タグのサブセット予測、および指向性関係予測を要求します。このタスクを制約付き構造化予測として捉えます。システムはまず、メタデータ認識型密接検索で候補タグ空間を絞り込み、次に次元ごとの上限を持つ制約付きデコーディングを適用し、不確実なケースのみを3エージェントのディベートブランチにエスカレートし、最終的に出力スキーマを検証します。公式リーダーボードでは、LLM-INSTRUCTは総合1位、F1スコアで1位、LLM-as-a-Judgeで5位となりました。開発中、設定検索により、内部タスク2スコアを4.421に維持しながら、タスク1bマイクロF1を35.83%から40.08%にさらに改善しました。主な教訓は単純です。生成前に決定空間を削減すると、精度と提出の堅牢性の両方が向上します。

arXiv cs.CL