タイムライン検索

2026年5月29日

大規模言語モデル（LLM）のファインチューニングはしばしば以前の能力のカタストロフィック・フォーゲッティングを引き起こす。最近の研究によれば、強化学習（RL）は教師あり学習（SFT）よりも効果的に以前の能力を保持し、ポリシー勾配更新がより近い状態に留まることに起因している。

arXiv cs.LG

2026年5月29日

東京女子医科大学で2歳児が死亡した事件で、東京地裁は医師1人に無罪判決を言い渡しました。同事件では検察が2人を起訴していますが、医療行為と死亡の因果関係の立証が困難であることが判決に影響したとみられます。医療過誤事件では、医学的な標準治療からの逸脱と患者の死亡との間に合理的な因果関係が認められなければ刑事責任を問うことが難しく、判決までの12年間は医療現場に大きな負担をもたらしました。本判決は、医療事故の責任追及における法と医学の相互理解の課題を示す事例となっています。

NHK

2026年6月1日

arXivで発表された論文：機械アンラーニング評価は構造的に偏っており、因果関係と関係知識を探索するWhy型質問がCounterFactでは0.06%未満、ZSREでは0.6%、TOFU、MUSE、WMDP-Cyberでは1.3%未満にすぎず、この極度の不足は因果知識で失敗する手法が存在することを意味する。

arXiv cs.LG

2026年6月2日

ファインチューニングはファンデーションモデルを特殊化されたダウンストリームタスクに効果的に適応させますが、事前学習中に獲得した非対象の能力を低下させる可能性があります。既存の忘却認識方法は、通常、特殊な初期化または固定制約を通じて安全な更新を求めていますが、適応の規制は行いません。

arXiv cs.LG

2026年6月2日

継続事前学習（CPT）は大規模言語モデルを新しい言語に拡張する実用的な方法ですが、ナイーブなファインチューニングは壊滅的忘却を通じて既存の能力を低下させます。言語ファミリー周辺のトレーニングを組織することはクロスランゲージ干渉を減らしますが、それだけでは十分ではありません。

arXiv cs.CL

2026年6月3日

ドメイン固有のタスク用のファインチューニングは、一つの領域でのパフォーマンス向上をモデルの一般的な能力の低下なしに実現することを意味しており、このバランスを正しく取ることは見た目以上に難しいものです。

AWS Machine Learning Blog

2026年6月8日

本研究は、香港の判決文に対する言説分析のための初めての専門家注釈付き法的言説コーパス「香港判決文言説データセット（HKJudge）」を紹介する。HKJudgeは香港の5段階の裁判所階級全体にわたる刑事判決を含み、約29万文、650万トークンから構成され、法言語学の専門家により完全に注釈付けされている。2層構造の言説スキーマを設計し、裁判所が認定した事実、推論過程、判決内容を捉える。文レベルでは各文に26の修辞的役割のいずれかが割り当てられ、スパンレベルでは有罪判決要素（罪状、懲役期間、罰金）でさらに注釈付けされている。10人の法言語学注釈者によるアノテーションは高い一致度（κ = 0.8）を達成している。HKJudgeに対して修辞的役割分類と法的要素抽出の2つのタスクを定式化し、4つのBERTベースモデル、2つのオープンソースLLM（ゼロショットおよびファインチューニング設定）、および4つの商用LLMについて初の基準評価を提供している。この研究は、文レベルの言説注釈が香港判決文の構造モデリングに価値があることを実証し、法的判決予測に関する将来の研究のための豊富なデータ基盤を提供する。

arXiv cs.CL

2026年6月8日

オープンウェイトLLMは、カスタマイズされたアシスタントへのファインチューニングが増加していますが、下流のファインチューニングにより安全性アライメントが弱まり、訓練データが意図的に有害でない場合でも、モデルが悪質なプロンプトに対して脆弱になる可能性があります。ターゲットモデルが新しいタスクデータやユーザーインタラクションで繰り返し更新されるため、反復的な安全性回復の問題が生じます。本論文では、各アーキテクチャ互換モデルファミリー内での横断的再利用のために設計された再利用可能な安全性アダプターモジュール「SafeGene」を提案します。安全性回復をモデル固有の修復ステップとして扱う代わりに、SafeGeneは安全性能力をタスク固有の更新から分離された独立した再利用可能なアダプター表現として扱います。この表現は、アラインされた-劣化したモデルの差分から取得され、データに対応したレイヤー選択を通じてタスク転送可能な安全性ベクトルに精密化され、各下流タスク適応モデルで少数ショットレイヤー単位の係数再キャリブレーションを通じて表現されます。

arXiv cs.AI

2026年6月8日

長崎市で2017年に中高一貫の私立海星高校2年の男子生徒（当時16）が自殺したのは学校がいじめ対策を怠ったからだとして、両親が計約3200万円の損害賠償を求めた訴訟の判決が8日、長崎地裁であった。松…

朝日新聞デジタル

2026年6月10日

arXiv:2606.10279v1 発表タイプ: new 要旨：合成根拠データを用いた教師ありファインチューニング（SFT）は、モデルに予測対象だけでなくその理由も教えることで、臨床予測タスクにおける言語モデルの性能を向上させると広く考えられている。我々は、この仮説を、長期的な健康履歴からの5年間のアルツハイマー病および関連認知症（ADRD）予測について検証する。504の構成における大規模な制御実験を通じて、根拠ベースのSFTは、ラベルのみのファインチューニングと比較して、予測性能を一貫して大幅に損なうことがわかった。この低下は、モデルファミリーやデータ規模にわたらず持続し、推論指向のベースモデルを使用しても解決されない。重要なのは、この失敗は根拠の質の低さでは説明されないことである。人間の専門家による注釈は、生成された根拠が医学的に正確であり、患者固有の証拠に忠実に根ざしていることを確認しており、Few-shot実験は、同じ根拠がトレーニングターゲットとしてではなく推論時のデモンストレーションとして使用された場合に性能を向上させることを示している。

arXiv cs.AI

2026年6月11日

arXiv:2606.11206v1 新規投稿 概要：教師ありファインチューニング（SFT）は、大規模言語モデル（LLM）の調整における主要なパラダイムですが、最適化の不安定性と限定的な汎化性能に悩まされています。最近の研究では、この問題を病的な勾配スケーリングに起因するものとし、トークンレベルでそれを修正するために動的ファインチューニング（DFT）を提案しています。しかし、DFTはすべてのデモンストレーションが同等に適切な学習ターゲットであると仮定しますが、大規模な命令データセットの強い異質性により、デモンストレーションとポリシーの不一致がサンプルレベルで高分散の更新を引き起こすため、この仮定は破られます。本稿では、サンプルレベルの最適化分散を制御するDFTの原理的な拡張である、互換性認識型動的ファインチューニング（CADFT）を導入します。CADFTは、モデルの尤度から動的でポリシー依存の互換性信号を導出し、教師あり更新を調整して、互換性のないデモンストレーションからの高分散勾配を抑制します。

arXiv cs.CL

2026年6月12日

ブループリント命令の最適化は、この課題に直接対処するために抽出命令を自動的に洗練するBDA（Bedrock Data Automation）の機能です。期待される値を持つ3〜10個のサンプルドキュメントを提供すると、BDAは数分で、数週間ではなく、精度を向上させるためにブループリント命令を洗練します。個別のモデルファインチューニングは不要です。

AWS Machine Learning Blog

2026年6月16日

AWSが提供する機械学習ブログで、AIエージェントの障害検出と根本原因分析に特化した新しいアプローチが紹介されました。この手法は「Strands Evals」と呼ばれる検出関数を活用し、AIエージェントが実運用中に直面する様々な障害を診断することを目的としています。 記事によると、Strands Evalsは、発生した障害を具体的なカテゴリに分類し、その信頼度スコアを算出することが可能です。さらに、根本原因から症状に至るまでの因果関係を構造化された形式で提示し、開発者が問題の本質を理解するのを助けます。 この分析結果に基づき、記事ではシステムプロンプトやツール定義における具体的な修正推奨事項も提供されており、AIエージェントの性能向上に直接繋がる情報が盛り込まれています。また、検出機能を評価パイプラインに統合する方法についても解説されており、開発プロセスの初期段階から障害予測と改善を行うための指針が示されています。 このツールは、AIエージェントの信頼性と安定性を高め、より効率的な開発サイクルを実現するための重要な一歩となるでしょう。 引用元: AWS Machine Learning Blog

AWS Machine Learning Blog

2026年6月16日

5500億の総パラメータと550億のアクティブパラメータを持つMixture-of-ExpertsハイブリッドMamba-Attention言語モデル「Nemotron 3 Ultra」を紹介します。Nemotron 3 Ultraは20兆トークンのテキストで事前学習され、その後コンテキスト長を100万トークンに拡張し、教師ありファインチューニング（SFT）、強化学習（RL）、マルチティーチャー・オンポリシー蒸留（MOPD）を用いて事後学習されました。Nemotron 3 Ultraは、LatentMoE、マルチトークン予測（MTP）、NVFP4事前学習、マルチ環境RLVR、MOPD、推論バジェット制御といった複数の主要技術を採用した、これまでにない最も高性能なモデルです。Nemotron 3 Ultraは、最先端の公開LLMと比較して最大約6倍高い推論スループットを達成しながら、同等の精度を実現しています。最先端の精度、高い推論スループット、100万トークンのコンテキスト長により、Nemotron 3 Ultraは長期間実行される自律エージェントタスクに最適です。

arXiv cs.CL

2026年6月16日

マルチソース転送学習は、根本的なスケーラビリティのボトルネックに直面しています。既存のアプローチでは、パラメータ融合中にすべてのK個のソースモデルを同時にメモリにロードする必要があり、O(K)のメモリを必要とするか、推論時にすべてのモデルをデプロイする必要があり、本番環境へのデプロイを不可能にしています。我々は、GRASP（Gradient-Aligned Sequential Parameter Transfer）を提案します。これは、3つの主要なイノベーションにより、O(1)のメモリ消費を維持しながら、優れた知識統合を実現します。(1)ソースを一度に1つずつ進化するターゲットモデルにマージする逐次処理。(2)最適化方向がターゲットドメインと一致するパラメータのみを選択的に転送し、ネガティブ転送を回避するパラメータごとの勾配アラインメント。(3)次のソースを統合する前に、転送された知識を適応させる反復ファインチューニング。

arXiv cs.LG

2026年6月16日

Causal Transformersは、同時分布の自己回帰的因数分解を通じてシーケンスをモデル化し、効率的な左から右へのデコーディングと条件付き尤度計算を可能にします。しかし、任意の条件（例：過去と未来のトークンに条件付けられたテキストブロック）からのサンプリングや評価を効率的に行うことはできません。最近の研究では、新しいアーキテクチャを通じてこの問題の解決を目指していますが、そのような条件のモデル化が最適でなく、生成結果が低下することがよくあります。我々は、標準的なCausal Transformersに簡単な変更を加えることで、単一のフォワードパス内で、過去、未来、混合コンテキストを含む任意の条件からの評価とサンプリングを可能にするArbitrary Conditionals GPT (AC-GPT)を提案します。先行研究とは異なり、我々の手法は、自然言語における高いパフォーマンスと効率的なトレーニングの両方に不可欠な、標準的な左から右への順序と次トークン予測の目的を維持します。重要なのは、この互換性により、既存のLLMを任意の条件付けのためにファインチューニングできることです。

arXiv cs.CL

2026年6月16日

フローマッチングと拡散ポリシーは表現力豊かなアクションジェネレーターですが、時間差分強化学習（RL）での最適化は依然として困難です。効果的なポリシー抽出にはクリティックのアクション勾配を活用する必要がありますが、この信号をマルチステップのデノイジングプロセスを通じて直接逆伝播させると、数値的に不安定になる可能性があります。既存の方法では、勾配情報を破棄するか、ポリシーをより単純なワンステップアクターに蒸留するか、クリティックが改善するにつれてデノイジングポリシーを繰り返しファインチューニングすることで、この問題を回避しています。我々は、元のポリシーを変更せず、推論時にデノイジングプロセスをステアリングするQPILOTSという手法を提案します。各デノイジングステップで、クリティックの予測が信頼できないノイズの多い中間アクションでクリティックを評価する代わりに、まずその中間状態を最終的なクリーンアクションの推定値に投影し、そこでクリティック勾配を計算します。我々は2つのバリアントを導入します。

arXiv cs.LG

2026年6月17日

因果関係のある有害薬物事象（ADE）を偽相関から区別することは、薬物警戒における中心的な課題です。InferBERTフレームワークは、TransformerモデルとDo-calculusを統合していますが、その成功は基盤となる分類モデルに依存します。本研究では、InferBERTにおけるモデル選択の影響を評価し、単純なモデルで十分か、ドメイン固有の事前学習が役立つか、LLMへのスケーリングが因果検出を改善するか、事後キャリブレーションの効果を検証します。分析対象は、Analgesics-induced Acute Liver Failure (AILF) と Tramadol-related Mortalities (TRAM) の2つのベンチマークです。XGBoost（ベースライン）、ALBERT（元のInferBERT）、BioBERT（生物医学Transformer）、Med-LLaMA（医療LLM）の4つのモデルを、20回の繰り返しで5分割交差検証を用いて評価しました。

arXiv cs.LG

2026年6月18日

LoRAは、大規模言語モデル（LLM）のファインチューニングにおける現在のデファクトスタンダードとなっています。しかし、より効率的で高性能な手法が登場しており、LoRAの支配に挑戦しています。この記事では、LoRAの仕組みと、それを超える可能性のある最先端のファインチューニング技術について探ります。

Hugging Face

2026年6月18日

投機的デコーディング（SD）は、複数のトークンをドラフトし、それらを並列に検証することで、自己回帰型大規模言語モデル（LLM）を高速化しますが、スケーリング上の限界に直面しています。ドラフト予算を増やしても、受理率が高く、ドラフトのオーバーヘッドが低い場合にのみ速度が向上します。この限界は、従来のヘッドベースのSD手法が因果関係と効率性のジレンマに直面しているため、打破が困難でした。自己回帰型ドラフターは、パス条件付き候補を生成し、これらは高い受理長を持つツリー投機的デコーディングに効果的ですが、そのドラフトコストはツリーの深さに比例して増加します。双方向ブロック拡散ドラフターは、一度のパスですべての位置を生成しますが、そのブランチに依存しない周辺分布は、個々にはもっともらしくても相互に矛盾するツリーを形成する可能性があり、予算を無駄にし、受理率を低下させます。本稿では、ヘッドベースのSDフレームワークであるJetFlowを提案します。これは、ワンフォワードドラフティングの効率性とブランチごとの因果条件付けを組み合わせたものです。

arXiv cs.CL

2026年6月18日

コードLLMの教師ありファインチューニングでは、通常、すべての応答トークンに均一なクロスエントロピー損失を適用し、すべてのトークンが等しく有用な学習信号を提供するという暗黙の前提があります。最近のトークンレベル選択手法は、高価値トークンのみを監視することで、自然言語SFTにおけるこの前提に異議を唱えています。しかし、トークンレベルのマスキングをコードに直接転送すると、コードは構造的な完全性と定義-使用関係に依存するため、構文的および意味的に一貫したプログラムユニットが壊れる可能性があります。そこで、私たちは独立したトークンではなく、構造的に完全なコード証拠を選択する構造認識型スパース監視フレームワークであるCodeBlockを提案します。CodeBlockは、まず高品質な命令-応答ペアを選択し、次にコード応答を構文的に一貫したコーディングアイテムに分割し、コアロジックトークンに対する一般化クロスエントロピーを集計してその有用性を推定し、データフローの到達範囲とブリッジ信号で再ランク付けして、重要なプログラム依存関係を伝播または接続するブロックを優先します。

arXiv cs.LG

2026年6月18日

大規模言語モデル（LLM）は、特に低リソース言語において、合成データ生成の効果的なツールとなっています。生成されたデータは、下流タスクのパフォーマンスを向上させることができます。現在最も性能の高いアプローチは、通常、ターゲット言語の例を用いた少数ショットプロンプティングに依存していますが、これは推論コストを増加させ、語彙の固定化により多様性を低下させる可能性があります。本研究では、低リソース合成データ生成の代替手段としてアクティベーション・ステアリングを調査します。言語の言語的同一性をターゲットとする「言語ステアリング」と、人間が書いたテキストとバックトランスレーションされたテキストの表現を対比させることで、適切さを捉える「品質ステアリング」という2つのステアリング戦略を研究します。これらの手法を4つのオープンソースLLM、複数のレイヤー、およびタイプ論的に多様な11言語にわたって評価し、感情およびトピック分類データを生成し、より小さな分類器をファインチューニングしました。

arXiv cs.CL

2026年6月18日

健康診断は異常なしの「A」判定だったが、実は初期の肺がんだった――。健診結果の誤通知でがんの発見が遅れたとして、大阪府の60代会社員女性が健診を担当した社会医療法人に約4180万円の損害賠償を求めた訴訟の控訴審判決で、大阪高裁は18日、法人側に約2220万円の支払いを命じた。西村欣也裁判長は誤通知

毎日新聞

2026年6月19日

我々は、7つの大規模言語モデル（4B～671Bパラメータ）をアラビア語でファインチューニングし、セム諸語および非セム諸語でのゼロショット読解能力を評価することで、クロスリンガル転移を研究する。密なアーキテクチャとMixture-of-Expertsアーキテクチャ全体において、セム諸語特有の転移の証拠は見つからなかった。ベースラインが弱いモデルは全ての言語で劇的に改善する一方、ベースラインが強いモデルは言語ファミリーに関わらずわずかな改善しか示さなかった。連鎖思考のアブレーションはこの発見を補強する。ファインチューニングから最も恩恵を受けるモデルが、推論時の推論からも同様に恩恵を受けることは、両方のメカニズムがクロスリンガル知識転移ではなく、タスクフォーマットのアライメントに対処していることを示唆している。

arXiv cs.CL

2026年6月19日

大規模言語モデル（LLM）は、自身の出力が人間の倫理観と乖離している場合にそれを識別できるのか？そして自己修正は可能か？我々はLLMに、自身の推論と出力をレビューする「良心ステップ」を付与し、訓練損失に直接選好最適化（DPO）を用いたアライメントコンポーネントを拡張して、非倫理的な出力からモデルを逸脱させる。この結果、訓練、ファインチューニング、敵対的プロンプティング、ゼロショット学習など、幅広いアプリケーションでモデルをアライメントさせるオンライン技術が実現する。これは、より弱い、あるいはより強いジャッジを必要とせず、代わりに自身の凍結されたコピーに依存する。以前の研究である「創発的乖離」シナリオでは、モデルをハッキングコードにファインチューニングすることで、様々な創発的な非倫理的行動が示された。それに対し、我々は「創発的アライメント」を達成する方法を実証的に示す。単一のハイレベルな内省的な質問が、同じコードハッキングシナリオ下で、訓練を倫理的なモデルへと導く。

arXiv cs.AI

2026年6月20日

イングランド代表チームのワールドカップでの結果と、国内での女性の安全との間に因果関係があるかのような発言をし、英国の国会議員が批判を浴びている。

Al Jazeera English

2026年6月23日

アノテーター間の意見の不一致は、それ自体が情報となりうる。その情報量を得るために必要なアノテーターの数は、評価指標によって異なる。本研究では、ChaosNLIデータセット（項目ごとに100人の独立したアノテーターの判断を提供）からサブサンプリングしたラベル分布を用いて、NLIモデルをファインチューニングし、評価指標に依存したアノテーション飽和度を特定した。

Apple Machine Learning Research

2026年6月23日

内的な言語出力の欠如、学習データの制限、被験者間の大きなばらつきにより、非侵襲的な脳信号からの内的音声のデコードは依然として根本的な課題です。既存の脳信号からテキストへのアプローチは、タスク固有のデコーダーのファインチューニングに依存することが多く、スケーラビリティを制限し、新しい被験者への適応を複雑にします。本研究では、基盤となる言語モデルを変更することなく、fMRI信号からのオープンエンドなテキスト生成を可能にする、分離された2段階の脳信号から言語へのフレームワークであるMindAlignを提案します。第1段階では、fMRI活動を共有マルチモーダル意味空間にマッピングし、内的生成された文章の潜在的な意味スケッチを抽出する、被験者固有のニューラル意味アライメントを学習します。第2段階では、このスケッチを視覚的コンテキストと統合し、冷凍されたマルチモーダル言語モデルにプロンプトを与えることで自由形式の生成を行います。静かな画像記述中に収集されたfMRIデータを用いた実験により、提案手法が一貫してfMRIのみおよびランダムベースラインを上回ることが実証されました。

arXiv cs.CL

2026年6月23日

査読AIシステムは、コンピューターサイエンスと機械学習分野のみで学習し、科学を検証する反復的な対話を無視し、実際の編集判断ではなく、スタイルの模倣を評価するという3つの点で失敗します。これらすべてに対処するデータセットとファインチューニングモデル「FirstPass」を提案します。Nature Communicationsの5つの科学分野（生物学、化学、神経科学、物理学、地球科学）からの3,668件の完全な複数回の査読対話をキュレーションし、必須の透明性のある査読（2022年11月導入）を活用し、自動監査によって100%のコンテンツ完全性を検証します。Qwen2.5-7B-InstructをLow-Rank Adaptation（LoRA）でファインチューニングし、レビュー生成、査読者更新、改訂サイクル予測の3つのタスクを実行します。当社の主な発見は、応答のみの損失マスキングが最適化ではなく前提条件であるということです。これがない場合、精度は62.0%で、多数派ベースラインを下回ります。

arXiv cs.CL

2026年6月23日

EEG認証における中心的な課題は、モデルが通常、学習された取得設定に縛られていることです。特に、ヘッドセットハードウェア、チャネルレイアウト、信号時間のばらつきは、既存のモデルが対応できない異種混合の記録を作成し、新しいヘッドセットやデータセットごとに個別のモデル開発問題として扱われる原因となります。この断片化は、マルチデータセット学習を制限し、知識移転を妨げ、モデルの再利用性を低下させます。この制限に対処するため、我々は、デュアルステージトランスフォーマーアーキテクチャを介して、可変チャネルおよび可変長のEEG記録から識別性の高い埋め込みを学習する、EEG認証のための再利用可能な基盤モデルNeuroShieldを提案します。NeuroShieldは、15,762人の被験者と28,116セッションで構成される3つの公開EEGデータセットで事前学習され、2つの未知の下流データセットで転移学習を評価しました。評価によると、ファインチューニング後、NeuroShieldは最先端技術と比較して等価エラー率を0.44〜8.06パーセントポイント削減します。

arXiv cs.LG