タイムライン検索

2026年5月29日

推測的デコーディングは、ドラフト・検証パラダイムを通じて大規模言語モデルの推論を加速させますが、語彙サイズの拡大に伴い出力投影層がボトルネックになります。既存の静的プルーニング方法は有効にこのオーバーヘッドを削減しますが、受け入れ率の大幅な低下という課題があります。

arXiv cs.CL

2026年5月29日

arXiv:2605.29123v1 公表予定タイプ：新規 概要：マスク拡散言語モデル（MDM）は任意の順序の生成をサポートしており、信頼度ベースのデコーディングが事実上標準的な推論ポリシーとして機能している。これを最適化するため、最近のトレーニングスキームでは、生成時に観察されるマスクパターンと直接整合させることを試みている。

arXiv cs.AI

2026年6月1日

arXiv:2605.30641v1 大規模言語モデル(LLM)は、思考の連鎖(CoT)生成中に社会的偏見を明らかにし、増幅する可能性がある。本論文では、デコード時にトークンレベルのフェアネス制御を適用する訓練不要のデコーディング方法であるCOFT（フェアな思考の連鎖）を提案し、分布自由の周辺有効性を保証する。

arXiv cs.CL

2026年6月1日

多言語大規模言語モデルは比喩表現を生成できるが、この動作を駆動する内部信号が言語固有か言語間で再利用可能かは不明である。活動化操向をプローブとして使用し、比喩的・字義的活動化から比喩カテゴリの方向を推定する研究。

arXiv cs.CL

2026年6月1日

推測デコーディングは大規模言語モデル（LLM）の推論において重要な要素となり、複数のトークンをドラフト作成し並列検証することで高速な生成を実現している。しかし小規模ドラフトモデルは多言語対応で顕著な性能低下が生じる傾向にある。

arXiv cs.CL

2026年6月2日

言語拡散モデル（LDM）の急速な発展は、言語処理における自己回帰型モデルの優位性に課題を提示しています。ただし、その柔軟な任意順序デコーディング戦略は高速なデコーディング速度を実現する一方で、新しい信頼性の課題をもたらす可能性があります。

arXiv cs.CL

2026年6月2日

推測デコーディングは、ドラフタが複数のトークンを提案し、検証者が並列で検証することによって、自己回帰デコーディングを高速化します。リソース制約のあるデプロイメントでは、ドラフタはスパースKVキャッシュを使用して、固定KV予算下でのピークGPUメモリとエンドツーエンドレイテンシを制限し、検証者が検証します。

arXiv cs.LG

2026年6月2日

大規模言語モデル（LLM）における長文脈デコーディングは、広範なキー・バリュー（KV）キャッシュをフェッチするために必要なメモリ帯域幅によって厳しく制限されています。既存のKV管理方法の大多数はデコーディング前のキーのみプルーニングに依存していますが、注意出力はキーと値に共同で依存することが実証されています。

arXiv cs.CL

2026年6月2日

推測的デコーディング（SD）は軽量なドラフトモデルを使用して候補トークンを提案し、ターゲットモデルによって並列で検証することで、大規模言語モデル（LLM）の推論を加速化します。生成品質を損なわないまま実現されます。検索ベースの推測的デコーディング（RSD）はその利点から好まれています。

arXiv cs.CL

2026年6月8日

英語データで主に学習した大規模言語モデル（LLM）は豊富な世界知識を保有していますが、他言語での信頼性のある表現に失敗することが多いという言語間事実的矛盾の問題に対処するため、本研究ではPolyFactという大規模並列多言語事実的質問応答データセットを導入しました。12の言語的に多様な言語にわたり、ウィキデータに基づく100Kの事実を含みます。PolyFactを用いて、Qwen-2.5-7BとOLMo-2-1124-7Bの言語間事実的リコール性能を改善するため、軽量継続的事前学習（CPT）、教師あり微調整（SFT）、およびグループ相対方針最適化（GRPO）を比較しました。GRPOは一貫してSFTを上回り、言語間の一貫性と未見言語への汎化性能を改善しますが、並列データへのCPTは限定的な追加利得しかもたらしません。機構的分析により、GRPOはMLP層とアテンションヘッドの言語特殊化を削減することで多言語ルーティングを再編成し、より共有された言語間表現を促進することが示されました。本研究ではコード、モデル、およびデータセットを公開します。

arXiv cs.CL

2026年6月8日

科学分野では、少ない訓練例から高次元出力を予測する回帰タスクが頻繁に必要とされる。多出力ガウス過程は低データ体制で優れているが、通常は高次元出力に対応できない。PCA-GPなどの圧縮後予測パイプラインは高次元性を扱えるが、予測ではなく再構成に最適化された基底に依存している。このギャップに対処するため、ガウス過程事前分布から抽出した低次元潜在状態の線形ガウスデコーディングとして各出力を表現するモデルを提案する。デコーダの重みを解析的に周辺化することで、圧縮と予測を単一の目的関数に結合し、高次元出力に対応可能にした。このモデルをGaussian process latent factor regression (GPLFR)と呼ぶ。本研究では、ロッキータイプ系外惑星の全球気候モデルの初の空間分解エミュレータを構築することによってGPLFRを実証した。

arXiv cs.LG

2026年6月10日

Googleは、新たに「Gemini 3.5 Live Translate」を発表しました。この技術は、ほぼリアルタイムで自然な音声翻訳を提供することを目的としています。 「Gemini 3.5 Live Translate」は、Googleが提供する様々なプラットフォームに導入される予定です。具体的には、開発者向けのツールであるGoogle AI Studio、広く利用されているGoogle翻訳、そしてオンライン会議ツールであるGoogle Meetに搭載されます。これにより、ユーザーは異なる言語間でのコミュニケーションをよりスムーズに行えるようになると期待されています。 この新技術の導入は、言語の壁を低減し、国際的なコミュニケーションを円滑化する上で重要な進歩となる可能性があります。特に、ビジネスシーンでの国際会議や、旅行中のコミュニケーションなど、多岐にわたる場面での活用が見込まれます。 引用元: Google DeepMind

Google DeepMind

2026年6月10日

arXiv:2606.09859v1 新規発表 要約：MLLMは、視覚的入力と一致しないオブジェクトを頻繁に幻視します。この問題は通常、言語プリアイアンスへの過度の依存に起因しますが、これは視覚的コンテキストを上書きする可能性があります。最近のトレーニングフリーのデコーディング戦略は、言語プリアイアンスを罰することでこれに対処します。しかし、これらの方法は、視覚的証拠との整合性に応じて、言語プリアイアンスが有益であると同時に有害であるという二重の性質を見落としています。特に、言語プリアイアンスを盲目的に抑制すると、モデルのセマンティック多様体が破壊され、パフォーマンスが低下する現象が発生します。これを「多様体逸脱」と呼びます。この問題に対処するために、Manifold-Guided Adaptive Projection (MGAP) を提案します。これは、幻視を緩和しつつ、表現構造を維持する、ジオメトリを認識したトレーニングフリーのデコーディング手法です。MGAPはまず、SVDを介して盲目の隠れ状態から言語プリアイアンスサブスペースを構築します。

arXiv cs.LG

2026年6月11日

arXiv:2606.11203v1 新規発表 構造化シーケンス生成では、しばしば1つの出力で複数の入力由来の制約を満たすことがモデルに求められます。標準的なデコーディング手法では、流暢な継続に高い確率を割り当てる一方で、必要なアンカーをすべて同時に実現する継続には低い確率を割り当てる可能性があります。これをレアケース逐次推論問題として研究します。LatticeBridgeは、コンパクトなプレフィックス言語モデル、インスタンスコンパイルされたサーフェスオートマトン、そしてリサンプリング、マルチレベル分割、インスタンス提供フレーズから導出されるソースサポート提案項を備えたツイスト逐次モンテカルロ（SMC）デコーダーを組み合わせます。制約表現は各入力インスタンスからコンパイルされ、手動でキュレーションされた語彙クラスに依存しません。

arXiv cs.CL

2026年6月16日

多言語大規模言語モデル（LLM）は、離散的なテキストと連続的なニューラル表現を橋渡しするためにサブワードトークン化に依存しています。最新の多言語LLMは、しばしばバイトレベルBPE（Byte-Pair Encoding）トークナイザーを使用していますが、これは構造的にリソースの豊富な言語やラテン文字を優先する傾向があります。特に東南アジアのマイノリティ言語話者にとっては、この偏りが推論コストを増大させ、言語間の能力格差を広げます。本研究では、11の東南アジア言語を網羅する統一ベンチマークにおいて、公平なトークナイザーの最初の体系的な比較を行います。圧縮効率とクロスリンガルな公平性に関するトークナイザーレベルの分析に加え、同じトレーニングデータを使用した制御された1.5Bパラメータ言語モデルのトレーニングを通じて、下流タスクのパフォーマンスを評価します。我々の結果は、Parity-aware BPEが効率性と公平性のトレードオフにおいてパレートフロンティア上に位置し、競争力のあるコストで強力な圧縮公平性を達成することを示しています。

arXiv cs.CL

2026年6月16日

Causal Transformersは、同時分布の自己回帰的因数分解を通じてシーケンスをモデル化し、効率的な左から右へのデコーディングと条件付き尤度計算を可能にします。しかし、任意の条件（例：過去と未来のトークンに条件付けられたテキストブロック）からのサンプリングや評価を効率的に行うことはできません。最近の研究では、新しいアーキテクチャを通じてこの問題の解決を目指していますが、そのような条件のモデル化が最適でなく、生成結果が低下することがよくあります。我々は、標準的なCausal Transformersに簡単な変更を加えることで、単一のフォワードパス内で、過去、未来、混合コンテキストを含む任意の条件からの評価とサンプリングを可能にするArbitrary Conditionals GPT (AC-GPT)を提案します。先行研究とは異なり、我々の手法は、自然言語における高いパフォーマンスと効率的なトレーニングの両方に不可欠な、標準的な左から右への順序と次トークン予測の目的を維持します。重要なのは、この互換性により、既存のLLMを任意の条件付けのためにファインチューニングできることです。

arXiv cs.CL

2026年6月17日

この記事では、Amazon SageMaker AI内でP-EAGLEを直接使用する方法を解説します。SageMaker JumpStartカタログから互換性のあるモデルを選択し、並列ドラフトの仕様を設定して、生成AIアプリケーションを高速化する高度に最適化されたリアルタイムSageMaker AIエンドポイントをデプロイする方法をデモンストレーションします。

AWS Machine Learning Blog

2026年6月18日

大規模言語モデル（LLM）は、数学的推論のパフォーマンスにおいて、言語間でかなりのばらつきを示すが、これらの違いが言語固有のパラメータを反映しているのか、それとも言語によって異なる現れ方をする共有メカニズムを反映しているのかは未だ不明である。本稿では、LLMにおける数学的推論のクロスリンガルなメカニズム分析を提示し、言語を跨いだ数学的推論をサポートするモデルパラメータを特定し比較することを可能にする。抽出された数学関連パラメータは、部分的なクロスリンガルな重複を示し、最も強い重複は中間層に集中していることがわかった。さらに、英語は一貫して最大の数学関連パラメータセットを生み出す一方、リソースの少ない言語では関連パラメータのセットが小さいことが示された。これらの結果は、多言語LLMにおける数学関連の挙動が、完全に言語不変でも、完全に言語固有でもなく、むしろ体系的な言語依存の違いを伴う部分的なクロスリンガルなパラメータ重複を示すことを示唆している。

arXiv cs.CL

2026年6月18日

投機的デコーディング（SD）は、複数のトークンをドラフトし、それらを並列に検証することで、自己回帰型大規模言語モデル（LLM）を高速化しますが、スケーリング上の限界に直面しています。ドラフト予算を増やしても、受理率が高く、ドラフトのオーバーヘッドが低い場合にのみ速度が向上します。この限界は、従来のヘッドベースのSD手法が因果関係と効率性のジレンマに直面しているため、打破が困難でした。自己回帰型ドラフターは、パス条件付き候補を生成し、これらは高い受理長を持つツリー投機的デコーディングに効果的ですが、そのドラフトコストはツリーの深さに比例して増加します。双方向ブロック拡散ドラフターは、一度のパスですべての位置を生成しますが、そのブランチに依存しない周辺分布は、個々にはもっともらしくても相互に矛盾するツリーを形成する可能性があり、予算を無駄にし、受理率を低下させます。本稿では、ヘッドベースのSDフレームワークであるJetFlowを提案します。これは、ワンフォワードドラフティングの効率性とブランチごとの因果条件付けを組み合わせたものです。

arXiv cs.CL

2026年6月18日

大規模音声言語モデル（LALM）は、音声文字起こしから音楽分析まで、多様な音声理解タスクにおいて印象的な能力を示してきました。しかし、LALMは通常、テキストに合わせた応答を生成するように訓練されているため、その隠れ状態は、音響情報を保持するためではなく、テキスト生成のために段階的に形成されます。その結果、音声が持つ音素の詳細、イントネーション、音響イベント、感情、ピッチなどの多様な音響コンテンツは、途中で失われ、応答で活用することが困難になります。私たちは、応答生成に先立って音響情報を整理するための継続的な潜在ワークスペースを音声言語モデルに装備するフレームワークであるContinuous Audio Thinking（CoAT）を提案します。これは、音声専門家からの知識蒸留によって基盤が作られています。思考空間内では、モデルは応答を生成する際に、専門家からの知識蒸留によって提供される豊かな音響情報を利用できます。さらに、提案された継続的思考ブロックは単一のプリフィルで処理できるため、CoATはベースラインを超える追加の自己回帰デコーディングコストを必要としません。

arXiv cs.CL

2026年6月19日

コンテキスト内学習（ICL）は、LLMが少数のデモンストレーションから新しいタスクに適応することを可能にしますが、その信頼性は依然として懸念事項です。予測はプロンプト設計とコンテキスト理解能力の両方に非常に敏感であり、失敗がデータ特性に起因するのか、モデルの限界に起因するのかが不明瞭になります。不確実性の分解、すなわち偶然的（aleatoric）なものと認識的（epistemic）なものの分離は、この設定において特に重要ですが、標準的な生成タスク用に設計された既存の方法では、ICLのユニークなダイナミクスを捉えきれません。この問題に対処するため、ベイズ的見解とICLのメカニズム的解釈可能性に基づいて構築された、self-function vectorという概念を導入します。これらのベクトルは、内部モデル表現を活用して、コンテキスト内プロンプティング中に学習された潜在概念をモデル化します。これにより、ベイズ的フレームワーク内で偶然的uncertaintyを直接推定することが可能になり、脆弱な入力やデコーディング操作への依存を回避できます。

arXiv cs.CL

2026年6月20日

コンテキスト内学習（ICL）は自己回帰（AR）LLMで広く研究されているが、拡散大規模言語モデル（dLLM）におけるそのメカニズムはほとんど未解明のままである。ARモデルは単方向の因果マスキングに制約されるのに対し、dLLMは本質的に双方向アテンションを利用し、クエリ配置に広範な空間的柔軟性を提供する。しかし、現在の実践ではARスタイルの後続クエリテンプレートが慣習的に継承されており、構造的なパラダイムシフトが見過ごされがちである。本稿では、クエリ位置がdLLMにおいて実際に一次変数であることを明らかにする包括的な分析を提示する。経験的な分離を通じて、位置の変動が例のセマンティック品質と同等に生成品質に影響を与えることを実証する。内部的には、この位置的感度は、アテンションフローにおける空間的な「新近性効果」と、デコーディング軌跡におけるタスク依存的なシフトに起因する。正解ラベルなしでこの不安定性を緩和するために、従来の単一ステップ信頼度（C_decoded）がdLLMでは失敗することを明らかにする。

arXiv cs.CL

2026年6月25日

投機的デコーディングは、マルチバッチ長文脈大規模言語モデル（LLM）の推論スループットを向上させますが、その効率は、キー・バリュー（KV）キャッシュのロードがレイテンシを支配する検証ボトルネックによってしばしば制限されます。既存の圧縮方法はこの状況では機能しません。静的除外は顕著性のシフトによる精度低下を引き起こし、動的選択は検証パス中に許容できない計算オーバーヘッドを導入します。私たちは、長文脈の投機的デコーディングのために設計されたスパース検証フレームワークであるDustinを提案します。Dustinは、ドラフトモデルからのルックアヘッド信号とターゲットモデルからの履歴アテンションを統合し、マルチステップ検証ウィンドウ全体で高忠実度で重要なトークンを特定します。再計算レイテンシを削減するために、このアプローチはさらに、アテンションヘッドの最小サブセットに重要度スコアリングを制限するスパース推定スキームを採用しています。

arXiv cs.CL

2026年6月25日

大規模言語モデル（LLM）はコード生成を革新しましたが、著作者、評価の整合性、ソフトウェアの信頼性に関する懸念も高まっています。SemEval-2026タスク13サブタスクAは、特に未知のプログラミング言語やアプリケーションドメインをまたいだ分布外（OOD）汎化に重点を置き、コードスニペットに対する二項分類として検出を運用化します。本研究では、各クラスを専用の出力トークンにマッピングし、モデルが構造化された応答で単一トークンラベルを発行するようにトレーニングする、単一パス自己回帰LLM構造化分類（SALSA）スタイル定式化を提案します。手作りの特徴量や決定ルールを設計するのではなく、この定式化は著作者の判断をモデルに委任します。OODロバスト性を向上させるために、言語間のバランスの取れたサンプリングと、パラメータ効率の良いファインチューニングおよび保守的なトレーニング（低学習率、単一エポック）を組み合わせ、トレーニングドメインへの過学習を回避します。

arXiv cs.CL

2026年6月29日

マルチトークン予測は、トレーニング中のデータ密度を向上させ、下流のテキスト生成品質を改善することが示されており、自己投機的デコーディングの事実上のアプローチとして機能します。MTPヘッドを使用する既存の基盤モデルおよびオープンソースモデルは、生成シーケンス全体で静的なツリーベースの注意トポロジーにコミットしており、これは、推論の深さ、したがって検証中に必要な計算量が、コンテキストに関係なく一定であることを意味します。これは、自然言語のエントロピーパターンとは根本的に一致していません。自然言語では、低エントロピー領域は信頼性の高いマルチステップドラフトをサポートすることが多いですが、高エントロピー領域はより保守的な推論を必要とします。これを解決するために、ローカル生成エントロピーの実行中の推定値に基づいて、タスク固有のパレート最適ツリーのセットからツリーベースの注意トポロジーを切り替える、トレーニング不要のスケジューラであるエントロピー誘導型マルチトークン予測（EntMTP）を提案します。

arXiv cs.CL

2026年7月1日

ここ最近、立て続けに投機的デコーディングの手法が出てきているので、備忘録も兼ねて記事にまとめました。投機的デコーディングの概要をふまえた上で、EAGLE-3、DFlash、DSpark という3つの発展的な手法について紹介します。 はじめに：投機的デコーディングとは何か？

Zenn

2026年7月3日

推論言語モデルは、しばしば長い思考連鎖（CoT）を生成しますが、これはデコーディングフェーズ中に大量のKVキャッシュを蓄積し、デコーディング遅延の増大とスループットの制限を招きます。これらの問題に対処するため、KVキャッシュ圧縮は、後続のデコーディングに有用なKVペアを保持しながら重要でないKVペアを選択的に削除することでメモリオーバーヘッドを削減する有望な技術として登場しました。それにもかかわらず、既存のKVキャッシュ圧縮方法には2つの主要な限界があることを特定しました。1）それらの閾値トリガー圧縮ポリシーは、スループットの改善が限定的であるか、あるいはスループットを低下させる可能性があり、シーケンスの特定のブロックからKVペアを完全に削除する可能性があり、情報損失を悪化させる可能性があります。2）それらは通常、孤立したKVペアまたは厳格な境界を持つ固定サイズのチャンクのいずれかを保持し、任意のトークン位置で重要な柔軟なサイズのチャンクを保持できません。

arXiv cs.CL

2026年7月3日

被験者間のEEGストレス検出は、識別性の高いストレス関連パターンが被験者依存かつ周波数特異的であるため、依然として困難です。従来のリーマン法は主に時間領域で空間共分散をモデル化し、高次認知状態のデコーディングに不可欠な神経振動を見落としますが、標準的な時間的トークン化はスライス間の時間的コヒーレンスをしばしば断片化します。これらの限界に対処するため、EEGベースのストレス検出のためのintra-interリーマン多様体アテンションネットワークであるI2RiMAを提案します。I2RiMAは、各周波数ポイントで独立に空間共分散行列を構築し、それをSPD接空間にマッピングすることで、チャンネルごとの幾何学的構造と周波数特異的な識別手がかりを保持します。さらに、周波数クラスタリング集約を導入し、EEGリズムに沿ったコンパクトでデータ駆動型の周波数クラスタを形成することで、情報量の多いスペクトル成分を選択し冗長性を低減します。

arXiv cs.LG

2026年7月3日

トークンキャンバスを左から右にトークンを放出するのではなく双方向にノイズ除去することでテキストを生成する拡散言語モデルは、自己回帰（AR）生成に匹敵するようになっています。しかし、医療基盤モデルは、ほぼ完全に自己回帰のままです。私たちは、専門家混合拡散言語モデルDiffusionGemma-26Bを適応させ、医療画像質問応答データセットで、同じサイズのAR兄弟であるGemma-4-26Bと比較ベンチマークしました。この比較では、同一のLoRAレシピを使用し、冗長性に強いLLMジャッジによってスコアリングされました。拡散モデルは、すべてのベンチマークにおいてARと同等またはそれ以上の性能を示し、ファインチューニングされたモデル（アクティブ3.8B）は最先端のビジョン言語モデルと競争力があります。また、デコーディング速度も3.5～4.4倍高速です。この同等性に加えて、拡散モデルはARにはないドラフト作成機能を提供します。それは「任意の順序でのインフィル」です。キャンバスは双方向にノイズ除去されるため、放射線科医はレポートの断片を修正し、その間のテキストをモデルに補完させることができます。

arXiv cs.AI

2026年7月6日

我々は、アテンションベースのエンコーダー・デコーダー（AED）モデルと長尺音声エンコーディングの根本的な不一致に取り組みます。セグメント化された発話で学習したAEDモデルは、セグメント境界を超えた限られた音響コンテキストを利用して絶対フレーム位置をエンコードすることを学習しますが、これらの手がかりが失われる長尺セグメントのデコーディングでは一般化できません。

Apple Machine Learning Research