タイムライン検索

2026年6月1日

多言語大規模言語モデルは比喩表現を生成できるが、この動作を駆動する内部信号が言語固有か言語間で再利用可能かは不明である。活動化操向をプローブとして使用し、比喩的・字義的活動化から比喩カテゴリの方向を推定する研究。

arXiv cs.CL

2026年6月10日

arXiv:2606.09861v1 新規発表 要旨：次トークン予測（NTP）はLLMの事前学習を統一してきたが、その応用は無限で連続的な時系列（TS）には未解決のままでした。このギャップを埋めるため、TSを離散トークンに変換するユニバーサル・トークナイザーUniTokと、これらのトークン上でNTPにより事前学習された基盤モデルUniTok-FMを提案します。UniTok-FMは、ゼロショットおよびプロンプト強化型予測、さらに訓練不要のインコンテキスト推論による少数ショット生成・分類をサポートする汎用基盤モデルであり、これは先行研究では達成されていませんでした。技術的には、UniTokはスケール安定化のためのプレフィックス正規化、エンコード・デコードのための段階的解像度因果アーキテクチャ、および学習のための構造保存型再構築損失を組み込んだベクトル量子化オートエンコーダーです。UniTok-FMは、TS固有の修正なしに市販のLLMアーキテクチャを採用しています。

arXiv cs.LG

2026年6月16日

多言語大規模言語モデル（LLM）は、離散的なテキストと連続的なニューラル表現を橋渡しするためにサブワードトークン化に依存しています。最新の多言語LLMは、しばしばバイトレベルBPE（Byte-Pair Encoding）トークナイザーを使用していますが、これは構造的にリソースの豊富な言語やラテン文字を優先する傾向があります。特に東南アジアのマイノリティ言語話者にとっては、この偏りが推論コストを増大させ、言語間の能力格差を広げます。本研究では、11の東南アジア言語を網羅する統一ベンチマークにおいて、公平なトークナイザーの最初の体系的な比較を行います。圧縮効率とクロスリンガルな公平性に関するトークナイザーレベルの分析に加え、同じトレーニングデータを使用した制御された1.5Bパラメータ言語モデルのトレーニングを通じて、下流タスクのパフォーマンスを評価します。我々の結果は、Parity-aware BPEが効率性と公平性のトレードオフにおいてパレートフロンティア上に位置し、競争力のあるコストで強力な圧縮公平性を達成することを示しています。

arXiv cs.CL

2026年6月24日

NLPパイプラインの基盤となるトークン化において、既存の評価指標（例：生起頻度）は、膠着語の形態論的な正しさを捉えきれていない。本研究では、南米で8〜1000万人が話す低資源膠着語であるケチュア語（quz）を対象に、BPE、Unigram LM、WordPiece、そして形態論を考慮したPRPEトークナイザーの4つの戦略を比較する体系的なベンチマーク「QuechuaTok」を提案する。20万文のコーパスとSQUOIA有限状態形態素解析器（Rios, 2016）を基準として、生起頻度、未知語率（OOV rate）、形態素境界精度（MorphAcc）の3つの指標で評価した。結果として、BPEは16k語彙で1.636という最低の生起頻度を達成するも、MorphAccは6.67%に留まった。一方、PRPEは全システム中最高の83.33%のMorphAccを達成し、生起頻度だけでは膠着語のトークナイザー評価として不十分であることを示した。全てのコードとモデルはkaggle.com/code/macmaky/quechuatokで公開されている。

arXiv cs.CL

2026年7月2日

ビジュアルトークナイザーは、高次元の生ピクセルを、下流のモデリングのための圧縮された表現にマッピングします。圧縮を超えて、トークナイザーはどの情報が保持され、どのように整理されるかを決定します。ビデオトークン化の事実上の標準的なアプローチは、ビデオをトークンの時空間3Dグリッドとして表現することであり、各トークンは元の信号における対応する局所情報を捉えます。

Apple Machine Learning Research

2026年7月7日

我々は、テキスト・トゥ・スピーチ（TTS）ニューラルコーデック言語モデリングのための単語ごとの発音条件付けメカニズムであるGRAFTを発表する。既存のシステムは高い明瞭度と自然さを実現するが、テキストの曖昧さを継承し、稀な固有名詞、外来語、専門用語を誤って発音する。音素条件付きモデルでさえ、単語ごとの発音に対する直接的な音響的制御は提供しない。GRAFTは、モデル自身の音声トークナイザーでエンコードされ、プロンプト内の単語の位置に紐付けられた短い音声サンプルから選択された単語の発音を制御する。トレーニングデータ構築中のボイスコンバージョンは、ヒント話者とターゲット話者を分離するため、ヒントはどの音声からでも取得できるが、出力はターゲット音声のままである。英語のブラインドリスニング研究では、人間評価者はGRAFTを明確な差で1位と評価し、難しい単語のレンダリングがその単語の参照録音に最も近いと判断した。

arXiv cs.LG

2026年7月11日

ベンガル語の音声認識をスマートフォンなどの小型デバイスで実現するため、研究チームが言語特性に合わせた新しい「トークナイザー」を開発しました。これまで英語基準の分割ルールがベンガル語に使われていたため、複雑な文法変化を持つ同言語の単語が細かく分解され、AIが正しく理解できていませんでした。ベンガル語話者が自然に捉える単語のまとまりをAIに認識させることで、単語エラー率を21.54%に抑え、スマートフォンでも実用的な精度を実現。このアプローチが他言語に広がれば、高所得国言語ばかり優遇されてきたデジタル環境の格差改善につながる可能性があります。

arXiv cs.CL

2026年7月14日

本レポートは、台湾を対象としたオンデバイスでの英語から繁体字中国語への字幕翻訳について、短い入力、短い出力、バッチサイズ1の推論、低遅延、プライバシーの制約下での研究を行います。これらの条件は、長文コンテキストまたは高スループットの言語モデルサービング用に設計された最適化の価値を制限します。LMT-60-0.6Bから始めると、予備的なプロファイリングにより、GGUF量子化がTransformerブロックの相対コストを削減した後、語彙投影がデコード時のコストとしてより重要になることが示唆されます。元の151kトークンの語彙を64kトークンの字幕ドメイン・トークナイザーに置き換え、埋め込み空間を移行し、埋め込みキャリブレーションとそれに続く完全な教師ありファインチューニングによってモデルを適応させます。OpenSubtitles2024テストセットの固定500例のサブセットで、LocalSubsはGPT-4oペアワイズ評価においてGoogle Translateに対して59.2%の引き分け除外勝率を達成しました。パフォーマンスは短いキューで最も強く、キュー長が増加するにつれて低下します。

arXiv cs.CL

2026年7月24日

異なる特徴を持つ複数の大規模言語モデルを、より小型のモデルに効率的に統合する新たな手法が研究されています。この手法は「オン・ポリシー・ディスティレーション（OPD）」と呼ばれ、複数の教師モデルの能力を一つの学生モデルに集約することを目指します。 しかし、従来のOPDは、教師モデルと学生モデルが共通の「トークナイザー」（単語や文字の単位を数値に変換する仕組み）を使用することを前提としていました。そのため、異なるトークナイザーを持つモデル間での統合には課題がありました。具体的には、教師モデルの持つ情報を正確に学生モデルに伝えることが難しく、一部の情報が失われたり、不適切な情報が割り当てられたりする可能性があったのです。 今回提案された「バイトプレフィックス周辺化（BPM）」は、この問題を解決するものです。BPMは、教師モデルの次に出現する単語の確率分布を、共通の「バイト」というより基本的な単位で学生モデルの語彙に再マッピングします。これにより、トークナイザーが異なっていても、教師モデルの持つ知識をより正確に学生モデルに引き継ぐことが可能になり、より高性能な小型言語モデルの構築が期待されます。（arXiv cs.CL）

arXiv cs.CL