タイムライン検索

2026年5月29日

クロスリンガル生物医学エンティティリンキング(BEL)は任意の言語の言及を生物医学ナレッジベース内の一意識別子にマップし、臨床および生物医学NLPアプリケーションをサポートします。ただし、BEL用の専門家による注釈付き学習データは特に低資源言語では高コストです。

arXiv cs.CL

2026年6月1日

大規模言語モデル(LLM)はクロスリンガル知識インターフェースとして広く使用されているが、文化的に根ざした質問はしばしばローカルコンテクストではなくグローバルに支配的なナラティブを反映している。本研究では、低リソース文化コンテクストであるベンガル語でこの失敗モードを「グローバルナラティブ支配」として研究する。

arXiv cs.CL

2026年6月11日

arXiv:2606.11202v1 発表タイプ: new 概要: 大規模言語モデル（LLM）は、グローバルな多言語ユーザー向けのアプリケーションにますます導入されていますが、安全トレーニングは依然として主要言語に集中しており、多言語機能の進化と並行して進んでいません。これにより、脱獄攻撃に悪用可能なギャップが生じています。現在の脱獄防御策は、主に主要言語で開発・評価されており、その有効性は、整合性の取れた多言語監視の不足や、言語のバリエーションによる表現の分散によって制限されています。この問題に対処するため、多言語ロバスト性とクロスリンガル汎化の両方を改善するために設計された多言語脱獄検知フレームワーク「MLJailDe」を提案します。MLJailDeはまず、多言語バックトランスレーションデータ拡張アルゴリズムを導入し、11言語にまたがる、意味的に一貫性があり、機能的に効果的なデータセット（2,232の正常サンプルと1,239の脱獄サンプルで構成）を構築します。

arXiv cs.CL

2026年6月16日

多言語大規模言語モデル（LLM）は、離散的なテキストと連続的なニューラル表現を橋渡しするためにサブワードトークン化に依存しています。最新の多言語LLMは、しばしばバイトレベルBPE（Byte-Pair Encoding）トークナイザーを使用していますが、これは構造的にリソースの豊富な言語やラテン文字を優先する傾向があります。特に東南アジアのマイノリティ言語話者にとっては、この偏りが推論コストを増大させ、言語間の能力格差を広げます。本研究では、11の東南アジア言語を網羅する統一ベンチマークにおいて、公平なトークナイザーの最初の体系的な比較を行います。圧縮効率とクロスリンガルな公平性に関するトークナイザーレベルの分析に加え、同じトレーニングデータを使用した制御された1.5Bパラメータ言語モデルのトレーニングを通じて、下流タスクのパフォーマンスを評価します。我々の結果は、Parity-aware BPEが効率性と公平性のトレードオフにおいてパレートフロンティア上に位置し、競争力のあるコストで強力な圧縮公平性を達成することを示しています。

arXiv cs.CL

2026年6月18日

大規模言語モデル（LLM）は、数学的推論のパフォーマンスにおいて、言語間でかなりのばらつきを示すが、これらの違いが言語固有のパラメータを反映しているのか、それとも言語によって異なる現れ方をする共有メカニズムを反映しているのかは未だ不明である。本稿では、LLMにおける数学的推論のクロスリンガルなメカニズム分析を提示し、言語を跨いだ数学的推論をサポートするモデルパラメータを特定し比較することを可能にする。抽出された数学関連パラメータは、部分的なクロスリンガルな重複を示し、最も強い重複は中間層に集中していることがわかった。さらに、英語は一貫して最大の数学関連パラメータセットを生み出す一方、リソースの少ない言語では関連パラメータのセットが小さいことが示された。これらの結果は、多言語LLMにおける数学関連の挙動が、完全に言語不変でも、完全に言語固有でもなく、むしろ体系的な言語依存の違いを伴う部分的なクロスリンガルなパラメータ重複を示すことを示唆している。

arXiv cs.CL

2026年6月19日

我々は、7つの大規模言語モデル（4B～671Bパラメータ）をアラビア語でファインチューニングし、セム諸語および非セム諸語でのゼロショット読解能力を評価することで、クロスリンガル転移を研究する。密なアーキテクチャとMixture-of-Expertsアーキテクチャ全体において、セム諸語特有の転移の証拠は見つからなかった。ベースラインが弱いモデルは全ての言語で劇的に改善する一方、ベースラインが強いモデルは言語ファミリーに関わらずわずかな改善しか示さなかった。連鎖思考のアブレーションはこの発見を補強する。ファインチューニングから最も恩恵を受けるモデルが、推論時の推論からも同様に恩恵を受けることは、両方のメカニズムがクロスリンガル知識転移ではなく、タスクフォーマットのアライメントに対処していることを示唆している。

arXiv cs.CL

2026年7月7日

クロスリンガル検索拡張生成（RAG）は、多くの場合、英語証拠レジームで展開されます。このレジームでは、ユーザーは多様な言語でクエリを発行しますが、検索されたパッセージは英語のままです。この設定では、強力なベースモデルがあっても生成が失敗する可能性があります。英語の証拠は言語ドリフト（英語またはコードスイッチング出力）を誘発し、モデルは非英語の回答を生成する際に証拠を信頼性なく使用します。これらの失敗は、2つのポストトレーニングの課題に起因すると考えられます。(i) エラーはプレフィックス依存であり、固定軌道監督はプレフィックスの不一致に苦しむ。(ii) シーケンスレベル（部分的に離散的/ジャッジベース）の報酬は、ノイズの多いクレジット割り当てと高分散の更新をもたらします。本研究では、報酬最適化と学生が訪問したプレフィックスでのオンポリシー蒸留を組み合わせた教師正則化RLレシピ、TR-RAGを提案します。

arXiv cs.CL