タイムライン検索

2026年5月29日

Low-Rank Adaptation（LoRA）は大規模言語モデルの適応に広く採用されているアプローチですが、LoRA微調整によって引き起こされる内部表現の変化はまだ十分に理解されていません。本研究では、スパースオートエンコーダを使用してLoRA誘導表現の幾何学的構造を調査します。

arXiv cs.LG

2026年6月2日

Industry 4.0がサイバーフィジカルシステム(CPS)の製造への統合を加速させる中、堅牢な異常検知はプロセスの安全性と セキュリティを確保するために重要となっています。現在のデータ駆動型アプローチは、すべての正常データを集約して学習する「製品非依存」またはグローバルモデルを採用しています。

arXiv cs.AI

2026年6月2日

スパースオートエンコーダ（SAE）特性は言語モデルの解釈に益々利用されており、自動生成された自然言語ラベルが各特性の表現内容を理解するための主要なインターフェースとなっています。これらのラベルが汎化するかどうか、つまり概念に対してラベル付けされた特性が実際にそれを追跡するかどうかを検討します。

arXiv cs.CL

2026年6月4日

遺伝子発現データの解析を効率化する新しいベンチマークツールが開発されました。大規模な生物学的データを処理する際、深層学習モデルの性能は初期設定値であるハイパーパラメータに大きく左右されますが、最適な値を見つけるには膨大な計算時間が必要でした。 研究チームが公開した「BBOmix」は、実際の高スループットシーケンシングデータを用いた初のベンチマークデータセットです。異なる4種類のオートエンコーダアーキテクチャと7種類のマルチオミクスモダリティにおける105,000の評価結果を収録しており、研究者は膨大な計算なしに最適なパラメータ値を参照できるようになります。 このツールにより、遺伝子発現データから有用な特徴を抽出する処理が加速され、医療研究や創薬開発への応用が期待されます。 （arXiv cs.LG）

2026年6月9日

効率的な設計手法として注目されるベイズ最適化（BO）が、近年、分子やタンパク質といった複雑な構造を持つ物質への応用を広げています。これは、潜在空間ベイズ最適化（LSBO）と呼ばれる技術によって可能になります。 LSBOでは、複雑な構造が抽象的な「潜在空間」に変換され、この空間内で最適な設計が探索されます。現在、データ分析の分野で高い性能を発揮している表形式基盤モデル（TabPFNやTabICLなど）が、BOの代理モデルとして利用されるケースが増加しています。 しかし、これらの基盤モデルをLSBOに適用する際には、特定の課題が存在していました。この課題に対処するため、最新の研究では、分子の構造を符号化する変分オートエンコーダ（VAE）の潜在空間で定義された合成最適化タスクを用いて、表形式基盤モデルの事前学習段階を補強する手法が提案されています。このアプローチにより、LSBOにおけるモデルの不一致が解消され、より効率的で高精度な物質設計への貢献が期待されます。 引用元: arXiv cs.LG

arXiv cs.LG

2026年6月10日

arXiv:2606.09850v1 公開タイプ: new 概要: 事後学習のアライメントアルゴリズムは、言語モデルの内部計算をどのように再構築するかを不明瞭にしたまま、ブラックボックスとして評価されることが大半です。本研究では、6つの選好最適化手法（PPO, DPO, SimPO, ORPO, GRPO, KTO）を3つのオープンウェイトモデルファミリーで横断的に比較し、体系的なメカニズム解析を行います。層ごとの線形プロービング、スパースオートエンコーダー、クロスコーダーを統合することで、選好表現を局在化させ、潜在空間におけるアライメント誘発性の幾何学的変換を定量化します。選好信号は一貫して早期～中期または中期～後期の層に集中するものの、異なる目的関数が表現上のシフトを質的に区別することを発見しました。KTOとGRPOは、建設的な特徴共有とスパースで高顕著性な募集を通じて線形分離性を向上させます。対照的に、DPOとORPOは、非建設的な幾何学的回転と特徴減衰を通じて分離性を低下させる一方、PPOとSimPOはベースラインの幾何学的構造をほぼ維持します。

arXiv cs.LG

2026年6月10日

arXiv:2606.09861v1 新規発表 要旨：次トークン予測（NTP）はLLMの事前学習を統一してきたが、その応用は無限で連続的な時系列（TS）には未解決のままでした。このギャップを埋めるため、TSを離散トークンに変換するユニバーサル・トークナイザーUniTokと、これらのトークン上でNTPにより事前学習された基盤モデルUniTok-FMを提案します。UniTok-FMは、ゼロショットおよびプロンプト強化型予測、さらに訓練不要のインコンテキスト推論による少数ショット生成・分類をサポートする汎用基盤モデルであり、これは先行研究では達成されていませんでした。技術的には、UniTokはスケール安定化のためのプレフィックス正規化、エンコード・デコードのための段階的解像度因果アーキテクチャ、および学習のための構造保存型再構築損失を組み込んだベクトル量子化オートエンコーダーです。UniTok-FMは、TS固有の修正なしに市販のLLMアーキテクチャを採用しています。

arXiv cs.LG

2026年6月18日

ネットワーク化されたサイバーフィジカルシステムにおける安全な協調は、学習アルゴリズムにハイブリッドな離散・連続アクション、厳格な学習時間安全制約、物理法則に支配されたダイナミクスを同時に処理することを強制します。これら3つの特徴が、既製のモジュールの単純な組み合わせを無効にするバイアスの有向サイクルを形成することを示し、これを3者結合補題として形式化します。次に、3つのコンポーネントが互いの漏洩を相殺するように共同設計された初のMARLフレームワークであるTRIDENTを導入します。具体的には、Gumbel-SoftmaxバイアスをO(tau)からO(tau^2)に低減するRichardson-Romberg勾配補正、反復ごとの実行可能性を強制するLyapunov制約付き逐次信頼領域更新、報酬ではなく価値を分解する物理情報付き残余クリティックです。制約付きナッシュ均衡へのO~(1/sqrt(K))収束率と、累積違反に対するO(sqrt(K))バウンドを証明します。

arXiv cs.LG

2026年6月29日

構造生物学のための基盤モデルは、生体分子構造の予測において目覚ましい性能を達成し、タンパク質や低分子の設計に有望視されている。しかし、その出力の根幹をなす内部特徴を理解することは依然として困難である。標準的なスパースオートエンコーダー（SAE）は、トランスフォーマー風のシーケンス埋め込みには効果的だが、ペアフォーマー風のアーキテクチャにはそのまま適用できない。ペア表現に単純に作用させると、特徴量が二次関数的に増加し、シーケンス表現とペア表現にまたがって分散する概念が不明瞭になる。そこで我々はPairSAEを開発した。これは、ペアテンソルをNモードSVDによってトークンごとの相互作用役割に要約し、その後、スパースオートエンコーダーを使用して、シーケンス表現とペア表現の両方をデコードできる共通のトークンレベル特徴セットを学習する。PLINDERタンパク質-リガンド複合体のBoltz-2活性化で評価した結果、PairSAEはUniProtアノテーションと一致し、Boltz-2親和性値を予測する解釈可能な特徴量をもたらした。

arXiv cs.LG

2026年6月30日

スパースオートエンコーダー（SAE）は、言語モデルにおける解釈可能な特徴抽出に役立つツールとなっています。しかし、標準的なSAEアーキテクチャは個々のトークン活性化に基づいて動作するため、アクティブな特徴の数はコンテキスト長に比例して増加し、長文のモデルトランスクリプトの研究が困難になります。本稿では、ターン内の平均モデル活性化を再構築するように学習することで、固定数の特徴で単一の人間またはアシスタントのターンを表すターン平均SAEを導入します。ターン平均特徴は、LLMによって評価された場合、トークンごとの特徴よりも単一ターンの高レベル特性をより完全に記述することを発見しました。また、ターン平均SAEが、アトリビューショングラフのようなSAEの一般的な下流用途を大幅に単純化することを示します。広範には、ターン平均SAEは、長コンテキスト長での解釈可能性技術の実用性を高めます。

arXiv cs.CL

2026年6月30日

オフィスビルにおける機器レベルのエネルギー監視は、専門知識のない施設管理者にとって利用が困難なノイズの多いアラートを生成します。本論文では、ディープ時系列予測、変分異常検知、LLMベースの推論を組み合わせ、優先順位付けされた実行可能なメンテナンス推奨事項を生成するエンドツーエンドのエージェンティックパイプラインを提案します。このシステムは、ハイブリッド単一スペクトル分析（SSA）とLong Short-Term Memory（LSTM）予測モデルを使用して7つのオフィス機器を追跡し、注意機構を備えた機器ごとのLSTM変分オートエンコーダー（VAE）を適用して異常な毎日の消費エピソードをフラグ付けします。3段階のLangChainパイプラインは、常に3つのコアRAGソース（モデル信頼性、時間別ベースライン、専門知識）を取得するコンテキストエージェントから始まり、イベント特性に基づいて最大3つの追加ソース（予測コンテキスト、異常履歴、グローバルベースライン）を条件付きで追加し、8回の推論ステップに制限されます。

arXiv cs.LG

2026年7月7日

マルチプロダクトキッティング配送は、処理と組立を統合したハイブリッド製造システムにおけるリアルタイムスケジューリングに大きな課題をもたらします。これは、動的な注文到着が同時に供給依存関係と実行可能なジョブ・マシン割り当てのセットを変更するためです。本論文では、複雑なキッティング制約を持つ柔軟な組立フローショップスケジューリング問題におけるエンドツーエンドのオンラインスケジューリングのために、スライディングウィンドウベース強化学習（SWRL）フレームワークを提案します。この問題は、二層キッティング構造と疎な報酬ランドスケープを生み出すテールプロダクトボトルネックダイナミクスを捉える、異種グラフベースマルコフ決定プロセスとして定式化されます。

arXiv cs.AI

2026年7月14日

BluesightはAWSの協力を得て、単一製品のAIプロトタイプから、6つのヘルスケアコンプライアンス製品を網羅する統一エージェント型AIソリューション「Prism」へと進化させました。 Prism Assistant for ControlCheckは2026年5月に発売され、すでに20の医療システムで利用されています。 より複雑なマルチプロダクトのエージェント型ソリューションは2026年後半にリリース予定です。

AWS Machine Learning Blog

2026年7月15日

バッテリー劣化の長期的物理ベースシミュレーションは、メカニズムの理解に役立つが、計算コストが高く、長期間のサイクル寿命にわたる運用条件の稠密な探索には限界がある。ここでは、未知の充電レートにおけるリチウムイオンバッテリー劣化軌跡の代理モデリングのための、物理確率学習フレームワークを提案する。PyBaMMのDFN/P2D電気化学モデルで生成されたサイクル解決型劣化データを、まず容量に合わせた電圧および誘導体特徴量に変換し、変分オートエンコーダー（VAE）を用いてエンコードする。得られた2次元潜在空間は、サイクル進行と充電プロトコルの両方に応じて劣化軌跡を整理する。次に、サイクル数とCレートを入力変数として、この潜在空間でスパースマルチタスクガウス過程（GP）を訓練し、事後不確実性推定とともに潜在的劣化ダイナミクスの連続補間を提供する。プロトコルレベルのホールドアウト評価では、潜在空間GPは未知のCレート軌跡を正確に回復し、訓練データのサポートと一致する不確実性挙動を示す。

arXiv cs.LG

2026年7月24日

本論文では、Gemma 2 2Bにおいて、より広範な意味集中予測の具体的な運用化であるアクティブスパースオートエンコーダー（SAE）特徴プレーンにホロノミーが集中するかどうかを検証する。ホロノミーは、最終トークン層-12から層-13の残差ストリーム読み出しで測定され、局所フレームを小さなループで運び、限定ヤコビアン輸送規則を使用し、結果の回転を囲む面積で正規化する。設計、マテリアリティ閾値、分析、判定規則は、分析された測定値が検査される前に事前登録および凍結された。予測は逆に反証された。アクティブ特徴プレーンは、一致させた混合特徴コントロールよりもホロノミーが少なく、調整済み対数対照は-0.29439、95%信頼区間は[-0.43989、-0.14889]であった。この設計では、大きさのみの説明は支持されず、ランダム、混合特徴、アクティブ特徴プレーン間の3方向順序は、共通サポートが失敗したため、一致させた大きさでは未定義であった。

arXiv cs.LG

2026年7月24日

半教師あり異常検知は、プロセス監視、ヘルスケア、金融などの多様な分野で重要な役割を果たします。しかし、軽量な手法は高次元データに苦労することが多く、通常は複数のハイパーパラメータの慎重な調整が必要です。既存のアプローチの中でも、クリストッフェル関数ベースの手法は、最大でも1つのハイパーパラメータしか必要としないため、そのシンプルさから魅力的です。また、データサイエンスにいくつかの興味深い結果をもたらす、確立された理論的基盤の恩恵も受けています。しかし、その主な限界は、高次元設定へのスケーラビリティが低いことです。本稿では、次元削減のためのオートエンコーダーと、潜在空間に適用されるクリストッフェル関数ベースの検出器を組み合わせた新しい手法であるCLOEを紹介します。表現学習と異常検知をよりよく一致させるために、クリストッフェル関数を活用してオートエンコーダーを、正規データ分布のサポートをよりよく捉える表現へと導く、新しい損失関数を設計しました。さらに、検出しきい値を設定するための原則的な手順と、残りの単一ハイパーパラメータを調整するための効率的な戦略を提案します。

arXiv cs.LG