タイムライン検索

2026年5月12日

パラメータゴルフは1,000名以上の参加者と2,000件以上の投稿を集め、厳格な制約条件下でAI支援機械学習研究、コーディングエージェント、量子化、革新的なモデル設計を探索した。

OpenAI

2026年5月29日

フェデレーション強化学習は、生のトラジェクトリを交換することなく、分散エージェントが協力してポリシーまたは価値推定を改善することを可能にします。ただし、FedAvgスタイルのパラメータ平均化は関数空間で一貫性がなく、クライアントが異なるエンコーダを使用したり、同じ非線形ネットワークを使用する場合でも問題が生じます。

arXiv cs.LG

2026年5月29日

推測的デコーディングは、ドラフト・検証パラダイムを通じて大規模言語モデルの推論を加速させますが、語彙サイズの拡大に伴い出力投影層がボトルネックになります。既存の静的プルーニング方法は有効にこのオーバーヘッドを削減しますが、受け入れ率の大幅な低下という課題があります。

arXiv cs.CL

2026年5月29日

大規模言語モデルは強力な推論能力を実現しているが、膨大なパラメータ数と高い推論コストが課題である。本研究では、コンパクト言語モデルにおける適応的推論深度の異なるアプローチを探索し、CosmicFish-HRMを提案している

arXiv cs.LG

2026年5月29日

ソフトプロンプトチューニングはLLMを特定のタスクに適応させるためのパラメータ効率的な方法ですが、解釈可能性の欠如に悩んでいます。ソフトプロンプトの解釈に関する最近の研究に基づいて、専用のソフトプロンプトから自然言語翻訳モデルへのトレーニング方法を探索します。

arXiv cs.CL

2026年5月29日

大規模言語モデル（LLM）は計算社会分析のプロキシとしてますます利用されていますが、人間のコミュニティの「厚い記述」を忠実に表現する能力は依然として重大な課題です。現在の評価では、社会的アイデンティティを静的なラベルに縮小することが多いです。

arXiv cs.CL

2026年5月29日

認知圏論トランスフォーマー(CCT)は3億600万パラメータのアーキテクチャで、事前学習されたGPT-2 Smallバックボーンを圏論から導出された認知的に根拠のあるコンポーネント、および認知科学からのいくつかのインスピレーションで拡張しています。マッチドステップ・プロトコル下(215,000最適化ステップ)で...

arXiv cs.AI

2026年5月29日

人間の協調は、戦略的行動を通じて他者の信念に影響を与える能力に依存している。マルチエージェント強化学習では、対戦相手形成がこの影響を複製しようとしているが、既存の方法は通常、対戦相手のパラメータ、ポリシー、または価値空間内で動作している。

arXiv cs.AI

2026年5月29日

パラメータ化理論で導入されたパラメータ活性化アライメント測度であるログアライメント比（LAR）を研究します。これを行列の正規化された2乗特異値のウェイトスペクトル p と正規化された2乗射影値のアクティベーションスペクトル q との重複として再構成します。

arXiv cs.LG

2026年5月29日

コンテキスト蒸留は文脈情報をモデルパラメータに圧縮するが、既存の方法は複数の蒸留された潜在メモリをオラクル以外の設定でどのように保存、検索、安全に活性化するかについて無視することが多い。本研究ではコンテキスト蒸留を潜在メモリ管理問題として定式化する。

arXiv cs.LG

2026年6月1日

arXiv:2605.30621v1 発表型：新規 要旨：LLMエージェントは、プロンプト、スキル、メモリ、ツールを含む編集可能な外部ハーネスの周辺に構築されたシステムとしてますますデプロイされており、これらはモデルパラメータを変更することなくタスク実行を形作る。ハーネス自己進化は実行証拠からこれらのハーネスを更新することによってそのようなエージェントを適応させる。しかし...

arXiv cs.AI

2026年6月1日

arXiv:2605.30374v1 歩行中の股関節筋力と関節モーメントの推定は通常、筋骨格シミュレーションに依存しており、有用であるが時間がかかり臨床設定への適用が難しい。本研究は下肢からのこれらの股関節動力学パラメータを直接予測するための深層学習フレームワークを開発した。

arXiv cs.LG

2026年6月1日

arXiv:2605.30556v1 発表タイプ：新規 要旨：ランダムで未訓練のニューラルネットワークは、初期視覚皮質への表現類似性において、訓練されたネットワークと一貫して同等以上の性能を示す。この驚くべき知見は、学習が脳アラインメントを改善するという仮定に異議を唱えている。我々は表現類似性分析（RSA）アラインメントを追跡することで調査する。

arXiv cs.LG

2026年6月2日

継続事前学習（CPT）は大規模言語モデルを新しい言語に拡張する実用的な方法ですが、ナイーブなファインチューニングは壊滅的忘却を通じて既存の能力を低下させます。言語ファミリー周辺のトレーニングを組織することはクロスランゲージ干渉を減らしますが、それだけでは十分ではありません。

arXiv cs.CL

2026年6月2日

arXiv:2606.00045v1発表タイプ：新規 抄録：古典的な連続空間ニューラルネットワークは、モジュロ演算や非可換代数などの厳密な数学的対称性にロックインするのに本質的に苦労している。これらの離散的な論理規則を近似するために、しばしば膨大なパラメータスケーリングに頼り、その後でも確率的不安定性をもたらす。

arXiv cs.AI

2026年6月2日

言語モデルの強化学習におけるトークンレベルのクレジット割当は、通常、ポリシーが完全に訓練可能であるかのように定式化されていますが、実際のLLM-RLパイプラインはパラメータ効率の良い微調整、特にLoRAに依存することが多いです。本論文はこの分離が構造的な失敗モードを隠していることを主張しています。

arXiv cs.LG

2026年6月2日

学習した行動多様体に埋め込まれた低次元連続パラメータで条件付けされた拡散ポリシーを学習するためのフレームワークであるParameterized Diffusion Policy (PDP)を提案します。潜在表現間の距離が意味的類似性を反映するようにこの多様体を構築します。

arXiv cs.AI

2026年6月2日

有限要素解析(FEA)は固体力学における最も重要な数値解析手法です。FEAの課題には、初心者ユーザーにとって急な学習曲線と、境界条件、荷重ケース、解析パラメータなどの重要なシミュレーションコンポーネントの定義が誤っている場合の誤ったシミュレーションが含まれます。

arXiv cs.AI

2026年6月3日

ドメイン固有のタスク用のファインチューニングは、一つの領域でのパフォーマンス向上をモデルの一般的な能力の低下なしに実現することを意味しており、このバランスを正しく取ることは見た目以上に難しいものです。

AWS Machine Learning Blog

2026年6月3日

米NVIDIAは5月31日(現地時間)、GTC Taipeiにおいて、Windows搭載デスクサイドAIスーパーコンピューター「NVIDIA DGX Station for Windows」を発表した。

PC Watch

2026年6月9日

ソフトバンク、ソニーグループ、ホンダ、NECなどが中心となり、AI基盤モデルを開発する新会社の設立が報じられた。目指すのは、1兆パラメータ規模の「国産フィジカルAI」の開発である。なぜ今、日本企業が連合を組み、巨額の投資をしてまで独自のAIを開発する必要があるのか。

ITmedia 全カテゴリ

2026年6月9日

アップルは6月8日、第3世代のAI基盤モデル「Apple Foundation Models」を発表した。注目されるのは、200億パラメーター規模の「AFM 3 Core Advanced」が端末内で動作する点だ。

ASCII.jp

2026年6月10日

Cohereは、単一のH100で実行可能なオープンソースのコーディングエージェント「North Mini Code」を発表しました。 この300億パラメータのモデルは、サブエージェントのオーケストレーション、アーキテクチャマッピング、コードレビューなど、エージェントソフトウェアエンジニアリングを対象としています。 256,000トークンのコンテキストウィンドウと64,000トークンの最大生成長をサポートし、Apache 2.0ライセンスでHugging Faceで利用可能です。

VentureBeat AI

2026年6月10日

「GeminiがApple Intelligenceの正体」は誤解だ。WWDC 2026の現地取材で見えてきた第3世代は、200億パラメータのAIをiPhoneで動かす革新技術、Google Cloud＋NVIDIAによるインフラ刷新、そして静かに変わる「無料」の定義まで、想像以上に深い変化を遂げて…

ITmedia AI+

2026年6月11日

Googleは2026年6月10日、テキスト拡散（text diffusion）の手法を用いて非常に高速なテキスト生成行う「DiffusionGemma」を発表、260億のパラメータをもつMoE（Mixture of Experts）モデルをApache 2.0ライセンスの下、実験的に公開した。

gihyo.jp

2026年6月11日

arXiv:2606.11258v1 発表タイプ: new 要旨：反応拡散システムの勾配ベース逆問題は、通常、サロゲートモデルまたは物理情報ニューラルネットワーク（PINN）を介してアプローチされますが、最も直接的な経路であるPDE構造自体のバックプロパゲーションは、ほとんど回避されてきました。私たちは、この直接的な経路を診断プローブとして追求し、定常状態の損失をアンロールされたグレイ・スコットシミュレーションを通じてバックプロパゲートして、パラメータを回復させます。サロゲートやニューラルネットワークの追加はありません。最適化は収束に失敗し、損失ランドスケープを直接プロットすることで、その幾何学的形状における失敗が特定されます -- 勾配信号のない平坦なプラトーと、分岐境界に整列する鋭い崖によって区切られています -- これは、損失関数全体で繰り返され、勾配がパラメータにどのようにルーティングされても引き継がれる構造です。

arXiv cs.LG

2026年6月11日

arXiv:2606.11201v1 新規発表 概要：LLMの広範な展開により、新たにトレーニングされたモデルがユーザーの指示に安全かつ効果的に応答するように、モデルアラインメントが必要となっています。様々な手法の中でも、推論時アラインメントは、出力生成中のみ介入（つまり、ガイダンスを提供する）するため、より安価であることが多いです。既存の提案では、信頼性を適切に評価せずに、特定の調整済みモデルから抽出されたガイダンスを適用しています。しかし、私たちの体系的な評価では、ガイダンスの効果はモデルによって劇的に異なることが明らかになりました。効果のないガイダンスは、さらなる混乱、ひいてはさらなる介入につながるため、結果として生じる過剰な介入は、通常、パフォーマンスの低下を示します。介入をより効果的かつ効率的にするため、私たちはBlendInを導入します。これは、二項決定から、両モデルの知識を統合したハイブリッド分布の作成へと移行する推論時アラインメントフレームワークです。

arXiv cs.LG

2026年6月11日

arXiv:2606.11262v1 発表タイプ：新規 概要：大規模言語モデル（LLM）におけるアクセス制御には、再トレーニングやドメイン間干渉なしにドメイン固有の動作を可能にするためのモジュール式メカニズムが必要です。アダプター合成中の干渉は、線形パラメータ更新の重複に起因するという一般的な仮説があり、直交性または方向独立性を強制することでマルチドメインパフォーマンスが向上すると示唆されています。私たちは、重み分解低ランク適応に基づいた階層的アダプター合成フレームワークであるDoRA-RBACを使用して、この仮説を検証します。LLaMA-3.1-8BおよびMistral-7Bにおける複数のQAベンチマーク（GPQA、PubMedQA、SimpleQA、WMDP）全体での正規化された方向平均によるフレシェ平均の近似である、幾何学を意識したリーマン幾何学に触発されたマージ戦略と、従来のユークリッドマージを比較します。

arXiv cs.LG

2026年6月12日

Moonshot AIは6月12日、コーディングに特化したオープンソースのエージェントAIモデル「Kimi K2.7 Code」の提供を開始した。総パラメータ数1兆でアクティブパラメータ数320億の

Yahoo!ニュース IT

2026年6月12日

Moonshot AIは6月12日、コーディングに特化したオープンソースのエージェントAIモデル「Kimi K2.7 Code」の提供を開始した。

PC Watch