タイムライン検索

2026年5月29日

大規模言語モデル（LLM）のファインチューニングはしばしば以前の能力のカタストロフィック・フォーゲッティングを引き起こす。最近の研究によれば、強化学習（RL）は教師あり学習（SFT）よりも効果的に以前の能力を保持し、ポリシー勾配更新がより近い状態に留まることに起因している。

arXiv cs.LG

2026年5月29日

東京女子医科大学で2歳児が死亡した事件で、東京地裁は医師1人に無罪判決を言い渡しました。同事件では検察が2人を起訴していますが、医療行為と死亡の因果関係の立証が困難であることが判決に影響したとみられます。医療過誤事件では、医学的な標準治療からの逸脱と患者の死亡との間に合理的な因果関係が認められなければ刑事責任を問うことが難しく、判決までの12年間は医療現場に大きな負担をもたらしました。本判決は、医療事故の責任追及における法と医学の相互理解の課題を示す事例となっています。

NHK

2026年6月1日

arXivで発表された論文：機械アンラーニング評価は構造的に偏っており、因果関係と関係知識を探索するWhy型質問がCounterFactでは0.06%未満、ZSREでは0.6%、TOFU、MUSE、WMDP-Cyberでは1.3%未満にすぎず、この極度の不足は因果知識で失敗する手法が存在することを意味する。

arXiv cs.LG

2026年6月2日

フロリダ州がOpenAIとサム・アルトマンCEOに対し、AI生成チャットボットと暴力事件の因果関係を問う訴訟を起こした。これはAI企業が現実の犯罪に法的責任を問われる初の事例とみられる。 訴訟の背景には、昨年フロリダ州立大学で発生した銃撃事件が存在する。州当局は、事件の加害者がChatGPTと相互作用していたと主張し、AI技術が暴力事件の引き金となり得るかが焦点となっている。 AI技術と現実の危害を引き起こす行為の関連性については、業界内でも議論が続いている。本訴訟の行方は、AI企業に対する責任追及の枠組みを大きく左右する可能性がある。判決までの過程で、AIシステムがユーザーの違法行為をどの程度防止すべきか、また企業側の法的責任の限界がどこにあるのかが明確化されることが予想される。 （TechCrunch AI）

2026年6月2日

ファインチューニングはファンデーションモデルを特殊化されたダウンストリームタスクに効果的に適応させますが、事前学習中に獲得した非対象の能力を低下させる可能性があります。既存の忘却認識方法は、通常、特殊な初期化または固定制約を通じて安全な更新を求めていますが、適応の規制は行いません。

arXiv cs.LG

2026年6月2日

継続事前学習（CPT）は大規模言語モデルを新しい言語に拡張する実用的な方法ですが、ナイーブなファインチューニングは壊滅的忘却を通じて既存の能力を低下させます。言語ファミリー周辺のトレーニングを組織することはクロスランゲージ干渉を減らしますが、それだけでは十分ではありません。

arXiv cs.CL

2026年6月3日

ドメイン固有のタスク用のファインチューニングは、一つの領域でのパフォーマンス向上をモデルの一般的な能力の低下なしに実現することを意味しており、このバランスを正しく取ることは見た目以上に難しいものです。

AWS Machine Learning Blog

2026年6月4日

Amazon SageMaker AIのトレーニング機能を活用し、小規模言語モデルのツール呼び出し精度を改善する新たな手法が注目されている。教師ありファインチューニング（SFT）と直接選好最適化（DPO）を組み合わせることで、モデルがAPI呼び出しやツール操作をより正確に実行できるようになるという。 この手法の利点は、インフラ管理の負担を軽減し、エンジニアがトレーニングコード開発に集中できる点にある。ベースモデルと複数のファインチューニング版を並行で評価・比較することで、最適なモデルを客観的に選定できる。こうしたデータ駆動型アプローチにより、試行錯誤を効率化しながら精度向上を目指せるとされている。 生成AIの実用化が進む中、小規模言語モデルの性能向上は、エッジデバイスやコスト効率の観点から重要な課題である。この技術により、より多くの企業がAIエージェントの導入を検討できる環境が整いつつある。 （AWS Machine Learning Blog）

2026年6月4日

# 独自記事 NVIDIAの音声認識モデル「Nemotron 3.5 ASR」に関して、Hugging Faceは特定の用途に応じたカスタマイズ手法を公開した。このモデルは言語や業界分野、アクセントといった多様なニーズに対応できるファインチューニング機能を備えている。 医療や金融といった専門分野での利用を想定したカスタマイズや、特定の地域特有のアクセント認識の改善など、ユースケースに応じた調整が可能だ。ファインチューニングを実施することで、デフォルト設定では対応が難しい環境での音声認識精度を向上させられる。 企業や研究機関がNemotron 3.5 ASRを導入する際、自社の業務環境や対象ユーザーの言語背景に合わせた最適化を図ることで、より正確な認識性能を実現できる見通しだ。この取り組みは、AIモデルの実用性を高める重要なステップとなる。 （引用元：Hugging Face）

Hugging Face

2026年6月8日

本研究は、香港の判決文に対する言説分析のための初めての専門家注釈付き法的言説コーパス「香港判決文言説データセット（HKJudge）」を紹介する。HKJudgeは香港の5段階の裁判所階級全体にわたる刑事判決を含み、約29万文、650万トークンから構成され、法言語学の専門家により完全に注釈付けされている。2層構造の言説スキーマを設計し、裁判所が認定した事実、推論過程、判決内容を捉える。文レベルでは各文に26の修辞的役割のいずれかが割り当てられ、スパンレベルでは有罪判決要素（罪状、懲役期間、罰金）でさらに注釈付けされている。10人の法言語学注釈者によるアノテーションは高い一致度（κ = 0.8）を達成している。HKJudgeに対して修辞的役割分類と法的要素抽出の2つのタスクを定式化し、4つのBERTベースモデル、2つのオープンソースLLM（ゼロショットおよびファインチューニング設定）、および4つの商用LLMについて初の基準評価を提供している。この研究は、文レベルの言説注釈が香港判決文の構造モデリングに価値があることを実証し、法的判決予測に関する将来の研究のための豊富なデータ基盤を提供する。

arXiv cs.CL

2026年6月8日

オープンウェイトLLMは、カスタマイズされたアシスタントへのファインチューニングが増加していますが、下流のファインチューニングにより安全性アライメントが弱まり、訓練データが意図的に有害でない場合でも、モデルが悪質なプロンプトに対して脆弱になる可能性があります。ターゲットモデルが新しいタスクデータやユーザーインタラクションで繰り返し更新されるため、反復的な安全性回復の問題が生じます。本論文では、各アーキテクチャ互換モデルファミリー内での横断的再利用のために設計された再利用可能な安全性アダプターモジュール「SafeGene」を提案します。安全性回復をモデル固有の修復ステップとして扱う代わりに、SafeGeneは安全性能力をタスク固有の更新から分離された独立した再利用可能なアダプター表現として扱います。この表現は、アラインされた-劣化したモデルの差分から取得され、データに対応したレイヤー選択を通じてタスク転送可能な安全性ベクトルに精密化され、各下流タスク適応モデルで少数ショットレイヤー単位の係数再キャリブレーションを通じて表現されます。

arXiv cs.AI

2026年6月8日

長崎市で2017年に中高一貫の私立海星高校2年の男子生徒（当時16）が自殺したのは学校がいじめ対策を怠ったからだとして、両親が計約3200万円の損害賠償を求めた訴訟の判決が8日、長崎地裁であった。松…

朝日新聞デジタル

2026年6月8日

# 記事本文 経済学研究において、市場の予測不可能な変動メカニズムが改めて注目を集めている。複数の経済モデルが相互作用する際、単純な制御では説明できない現象が生じるという分析が提示された。 従来の経済理論では、市場への政策的介入により価格や需給を調整できると考えられてきた。しかし、5つの異なる経済モデルの相互作用を検証すると、個別の制御努力では捉えきれない「創発現象」が発生することが明らかになった。これは、経済システムが単なる要素の集合ではなく、より複雑なダイナミクスを持つことを示唆している。 研究では、金融危機やインフレーションなどの経済的衝撃が、複数のモデル間の相互作用を通じてどのように増幅または緩和されるかを分析。制御可能な要素と制御不可能な要素の境界が、従来の理解より曖昧であることが示唆された。 この知見は、政策立案者が市場対策を検討する際、単線的な因果関係ではなく、システム全体の複雑性を考慮する必要性を提起している。 （Hugging Face）

Hugging Face

2026年6月10日

arXiv:2606.10279v1 発表タイプ: new 要旨：合成根拠データを用いた教師ありファインチューニング（SFT）は、モデルに予測対象だけでなくその理由も教えることで、臨床予測タスクにおける言語モデルの性能を向上させると広く考えられている。我々は、この仮説を、長期的な健康履歴からの5年間のアルツハイマー病および関連認知症（ADRD）予測について検証する。504の構成における大規模な制御実験を通じて、根拠ベースのSFTは、ラベルのみのファインチューニングと比較して、予測性能を一貫して大幅に損なうことがわかった。この低下は、モデルファミリーやデータ規模にわたらず持続し、推論指向のベースモデルを使用しても解決されない。重要なのは、この失敗は根拠の質の低さでは説明されないことである。人間の専門家による注釈は、生成された根拠が医学的に正確であり、患者固有の証拠に忠実に根ざしていることを確認しており、Few-shot実験は、同じ根拠がトレーニングターゲットとしてではなく推論時のデモンストレーションとして使用された場合に性能を向上させることを示している。

arXiv cs.AI

2026年6月11日

arXiv:2606.11206v1 新規投稿 概要：教師ありファインチューニング（SFT）は、大規模言語モデル（LLM）の調整における主要なパラダイムですが、最適化の不安定性と限定的な汎化性能に悩まされています。最近の研究では、この問題を病的な勾配スケーリングに起因するものとし、トークンレベルでそれを修正するために動的ファインチューニング（DFT）を提案しています。しかし、DFTはすべてのデモンストレーションが同等に適切な学習ターゲットであると仮定しますが、大規模な命令データセットの強い異質性により、デモンストレーションとポリシーの不一致がサンプルレベルで高分散の更新を引き起こすため、この仮定は破られます。本稿では、サンプルレベルの最適化分散を制御するDFTの原理的な拡張である、互換性認識型動的ファインチューニング（CADFT）を導入します。CADFTは、モデルの尤度から動的でポリシー依存の互換性信号を導出し、教師あり更新を調整して、互換性のないデモンストレーションからの高分散勾配を抑制します。

arXiv cs.CL

2026年6月12日

ブループリント命令の最適化は、この課題に直接対処するために抽出命令を自動的に洗練するBDA（Bedrock Data Automation）の機能です。期待される値を持つ3〜10個のサンプルドキュメントを提供すると、BDAは数分で、数週間ではなく、精度を向上させるためにブループリント命令を洗練します。個別のモデルファインチューニングは不要です。

AWS Machine Learning Blog

2026年6月12日

自然言語処理分野において、言語モデルの推論能力向上に新たなアプローチが提案されました。従来の検索拡張生成（RAG）は、外部知識を基盤とすることで言語モデルの精度を高める標準的な手法ですが、複雑な推論を要するタスクへの適用には課題がありました。 この課題に対し、研究者らは「検索拡張型強化学習ファインチューニング（RA-RFT）」という訓練後フレームワークを開発しました。RA-RFTは、言語モデルが類推思考によって推論を行うことを可能にするものです。具体的には、まず推論の有効性に基づいて関連情報を評価し、その順位付けを行うリトリーバー（情報検索器）を訓練します。その後、強化学習を用いてポリシーモデルをファインチューニングすることで、モデル全体の推論能力を向上させます。 この新フレームワークにより、言語モデルは単に情報を参照するだけでなく、類推を通じてより高度な問題解決を行う可能性を秘めています。今後の研究や応用が期待されます。 引用元: arXiv cs.CL

arXiv cs.CL

2026年6月16日

AWSが提供する機械学習ブログで、AIエージェントの障害検出と根本原因分析に特化した新しいアプローチが紹介されました。この手法は「Strands Evals」と呼ばれる検出関数を活用し、AIエージェントが実運用中に直面する様々な障害を診断することを目的としています。 記事によると、Strands Evalsは、発生した障害を具体的なカテゴリに分類し、その信頼度スコアを算出することが可能です。さらに、根本原因から症状に至るまでの因果関係を構造化された形式で提示し、開発者が問題の本質を理解するのを助けます。 この分析結果に基づき、記事ではシステムプロンプトやツール定義における具体的な修正推奨事項も提供されており、AIエージェントの性能向上に直接繋がる情報が盛り込まれています。また、検出機能を評価パイプラインに統合する方法についても解説されており、開発プロセスの初期段階から障害予測と改善を行うための指針が示されています。 このツールは、AIエージェントの信頼性と安定性を高め、より効率的な開発サイクルを実現するための重要な一歩となるでしょう。 引用元: AWS Machine Learning Blog

AWS Machine Learning Blog

2026年6月16日

フローマッチングと拡散ポリシーは表現力豊かなアクションジェネレーターですが、時間差分強化学習（RL）での最適化は依然として困難です。効果的なポリシー抽出にはクリティックのアクション勾配を活用する必要がありますが、この信号をマルチステップのデノイジングプロセスを通じて直接逆伝播させると、数値的に不安定になる可能性があります。既存の方法では、勾配情報を破棄するか、ポリシーをより単純なワンステップアクターに蒸留するか、クリティックが改善するにつれてデノイジングポリシーを繰り返しファインチューニングすることで、この問題を回避しています。我々は、元のポリシーを変更せず、推論時にデノイジングプロセスをステアリングするQPILOTSという手法を提案します。各デノイジングステップで、クリティックの予測が信頼できないノイズの多い中間アクションでクリティックを評価する代わりに、まずその中間状態を最終的なクリーンアクションの推定値に投影し、そこでクリティック勾配を計算します。我々は2つのバリアントを導入します。

arXiv cs.LG

2026年6月16日

5500億の総パラメータと550億のアクティブパラメータを持つMixture-of-ExpertsハイブリッドMamba-Attention言語モデル「Nemotron 3 Ultra」を紹介します。Nemotron 3 Ultraは20兆トークンのテキストで事前学習され、その後コンテキスト長を100万トークンに拡張し、教師ありファインチューニング（SFT）、強化学習（RL）、マルチティーチャー・オンポリシー蒸留（MOPD）を用いて事後学習されました。Nemotron 3 Ultraは、LatentMoE、マルチトークン予測（MTP）、NVFP4事前学習、マルチ環境RLVR、MOPD、推論バジェット制御といった複数の主要技術を採用した、これまでにない最も高性能なモデルです。Nemotron 3 Ultraは、最先端の公開LLMと比較して最大約6倍高い推論スループットを達成しながら、同等の精度を実現しています。最先端の精度、高い推論スループット、100万トークンのコンテキスト長により、Nemotron 3 Ultraは長期間実行される自律エージェントタスクに最適です。

arXiv cs.CL

2026年6月16日

マルチソース転送学習は、根本的なスケーラビリティのボトルネックに直面しています。既存のアプローチでは、パラメータ融合中にすべてのK個のソースモデルを同時にメモリにロードする必要があり、O(K)のメモリを必要とするか、推論時にすべてのモデルをデプロイする必要があり、本番環境へのデプロイを不可能にしています。我々は、GRASP（Gradient-Aligned Sequential Parameter Transfer）を提案します。これは、3つの主要なイノベーションにより、O(1)のメモリ消費を維持しながら、優れた知識統合を実現します。(1)ソースを一度に1つずつ進化するターゲットモデルにマージする逐次処理。(2)最適化方向がターゲットドメインと一致するパラメータのみを選択的に転送し、ネガティブ転送を回避するパラメータごとの勾配アラインメント。(3)次のソースを統合する前に、転送された知識を適応させる反復ファインチューニング。

arXiv cs.LG

2026年6月16日

Causal Transformersは、同時分布の自己回帰的因数分解を通じてシーケンスをモデル化し、効率的な左から右へのデコーディングと条件付き尤度計算を可能にします。しかし、任意の条件（例：過去と未来のトークンに条件付けられたテキストブロック）からのサンプリングや評価を効率的に行うことはできません。最近の研究では、新しいアーキテクチャを通じてこの問題の解決を目指していますが、そのような条件のモデル化が最適でなく、生成結果が低下することがよくあります。我々は、標準的なCausal Transformersに簡単な変更を加えることで、単一のフォワードパス内で、過去、未来、混合コンテキストを含む任意の条件からの評価とサンプリングを可能にするArbitrary Conditionals GPT (AC-GPT)を提案します。先行研究とは異なり、我々の手法は、自然言語における高いパフォーマンスと効率的なトレーニングの両方に不可欠な、標準的な左から右への順序と次トークン予測の目的を維持します。重要なのは、この互換性により、既存のLLMを任意の条件付けのためにファインチューニングできることです。

arXiv cs.CL

2026年6月17日

因果関係のある有害薬物事象（ADE）を偽相関から区別することは、薬物警戒における中心的な課題です。InferBERTフレームワークは、TransformerモデルとDo-calculusを統合していますが、その成功は基盤となる分類モデルに依存します。本研究では、InferBERTにおけるモデル選択の影響を評価し、単純なモデルで十分か、ドメイン固有の事前学習が役立つか、LLMへのスケーリングが因果検出を改善するか、事後キャリブレーションの効果を検証します。分析対象は、Analgesics-induced Acute Liver Failure (AILF) と Tramadol-related Mortalities (TRAM) の2つのベンチマークです。XGBoost（ベースライン）、ALBERT（元のInferBERT）、BioBERT（生物医学Transformer）、Med-LLaMA（医療LLM）の4つのモデルを、20回の繰り返しで5分割交差検証を用いて評価しました。

arXiv cs.LG

2026年6月18日

LoRAは、大規模言語モデル（LLM）のファインチューニングにおける現在のデファクトスタンダードとなっています。しかし、より効率的で高性能な手法が登場しており、LoRAの支配に挑戦しています。この記事では、LoRAの仕組みと、それを超える可能性のある最先端のファインチューニング技術について探ります。

Hugging Face

2026年6月18日

コードLLMの教師ありファインチューニングでは、通常、すべての応答トークンに均一なクロスエントロピー損失を適用し、すべてのトークンが等しく有用な学習信号を提供するという暗黙の前提があります。最近のトークンレベル選択手法は、高価値トークンのみを監視することで、自然言語SFTにおけるこの前提に異議を唱えています。しかし、トークンレベルのマスキングをコードに直接転送すると、コードは構造的な完全性と定義-使用関係に依存するため、構文的および意味的に一貫したプログラムユニットが壊れる可能性があります。そこで、私たちは独立したトークンではなく、構造的に完全なコード証拠を選択する構造認識型スパース監視フレームワークであるCodeBlockを提案します。CodeBlockは、まず高品質な命令-応答ペアを選択し、次にコード応答を構文的に一貫したコーディングアイテムに分割し、コアロジックトークンに対する一般化クロスエントロピーを集計してその有用性を推定し、データフローの到達範囲とブリッジ信号で再ランク付けして、重要なプログラム依存関係を伝播または接続するブロックを優先します。

arXiv cs.LG

2026年6月18日

大規模言語モデル（LLM）は、特に低リソース言語において、合成データ生成の効果的なツールとなっています。生成されたデータは、下流タスクのパフォーマンスを向上させることができます。現在最も性能の高いアプローチは、通常、ターゲット言語の例を用いた少数ショットプロンプティングに依存していますが、これは推論コストを増加させ、語彙の固定化により多様性を低下させる可能性があります。本研究では、低リソース合成データ生成の代替手段としてアクティベーション・ステアリングを調査します。言語の言語的同一性をターゲットとする「言語ステアリング」と、人間が書いたテキストとバックトランスレーションされたテキストの表現を対比させることで、適切さを捉える「品質ステアリング」という2つのステアリング戦略を研究します。これらの手法を4つのオープンソースLLM、複数のレイヤー、およびタイプ論的に多様な11言語にわたって評価し、感情およびトピック分類データを生成し、より小さな分類器をファインチューニングしました。

arXiv cs.CL

2026年6月18日

投機的デコーディング（SD）は、複数のトークンをドラフトし、それらを並列に検証することで、自己回帰型大規模言語モデル（LLM）を高速化しますが、スケーリング上の限界に直面しています。ドラフト予算を増やしても、受理率が高く、ドラフトのオーバーヘッドが低い場合にのみ速度が向上します。この限界は、従来のヘッドベースのSD手法が因果関係と効率性のジレンマに直面しているため、打破が困難でした。自己回帰型ドラフターは、パス条件付き候補を生成し、これらは高い受理長を持つツリー投機的デコーディングに効果的ですが、そのドラフトコストはツリーの深さに比例して増加します。双方向ブロック拡散ドラフターは、一度のパスですべての位置を生成しますが、そのブランチに依存しない周辺分布は、個々にはもっともらしくても相互に矛盾するツリーを形成する可能性があり、予算を無駄にし、受理率を低下させます。本稿では、ヘッドベースのSDフレームワークであるJetFlowを提案します。これは、ワンフォワードドラフティングの効率性とブランチごとの因果条件付けを組み合わせたものです。

arXiv cs.CL

2026年6月18日

健康診断は異常なしの「A」判定だったが、実は初期の肺がんだった――。健診結果の誤通知でがんの発見が遅れたとして、大阪府の60代会社員女性が健診を担当した社会医療法人に約4180万円の損害賠償を求めた訴訟の控訴審判決で、大阪高裁は18日、法人側に約2220万円の支払いを命じた。西村欣也裁判長は誤通知

毎日新聞

2026年6月19日

大規模言語モデル（LLM）は、自身の出力が人間の倫理観と乖離している場合にそれを識別できるのか？そして自己修正は可能か？我々はLLMに、自身の推論と出力をレビューする「良心ステップ」を付与し、訓練損失に直接選好最適化（DPO）を用いたアライメントコンポーネントを拡張して、非倫理的な出力からモデルを逸脱させる。この結果、訓練、ファインチューニング、敵対的プロンプティング、ゼロショット学習など、幅広いアプリケーションでモデルをアライメントさせるオンライン技術が実現する。これは、より弱い、あるいはより強いジャッジを必要とせず、代わりに自身の凍結されたコピーに依存する。以前の研究である「創発的乖離」シナリオでは、モデルをハッキングコードにファインチューニングすることで、様々な創発的な非倫理的行動が示された。それに対し、我々は「創発的アライメント」を達成する方法を実証的に示す。単一のハイレベルな内省的な質問が、同じコードハッキングシナリオ下で、訓練を倫理的なモデルへと導く。

arXiv cs.AI

2026年6月19日

我々は、7つの大規模言語モデル（4B～671Bパラメータ）をアラビア語でファインチューニングし、セム諸語および非セム諸語でのゼロショット読解能力を評価することで、クロスリンガル転移を研究する。密なアーキテクチャとMixture-of-Expertsアーキテクチャ全体において、セム諸語特有の転移の証拠は見つからなかった。ベースラインが弱いモデルは全ての言語で劇的に改善する一方、ベースラインが強いモデルは言語ファミリーに関わらずわずかな改善しか示さなかった。連鎖思考のアブレーションはこの発見を補強する。ファインチューニングから最も恩恵を受けるモデルが、推論時の推論からも同様に恩恵を受けることは、両方のメカニズムがクロスリンガル知識転移ではなく、タスクフォーマットのアライメントに対処していることを示唆している。

arXiv cs.CL