正交勾配制約がノイズ付きラベル記憶ダイナミクスを形成する

AI、特にニューラルネットワークが学習を進める中で、与えられたデータ（時には間違った情報、つまり「ノイズ付きラベル」）をどんどん覚えていく現象があります。これは「記憶」と呼ばれ、AIがどのように学習し、どこで間違った知識を定着させてしまうのかを理解する上で、とても大切な研究テーマです。

今回、arXivで公開された研究は、この「ノイズ付きラベル学習」という状況で、AIの学習プロセスに「幾何学的な介入」を行うことで、どのように記憶のダイナミクス（動き方）が変わるのかを調べています。ここでいう「幾何学的な介入」というのは、AIが学習する際に、重み（AIの知識の元になる数値）を更新していく方向性、つまり「勾配」というものに、ある種の「決まりごと」を設けるということです。

研究チームが提案した「OrthoGrad」という手法は、各重み勾配に対して、その重みベクトル自身と平行な成分を取り除き、直交（垂直に近い状態）させるという、ちょっと変わったアプローチをとっています。例えるなら、AIが「これは正しい」と学習を進めようとする方向と、「すでに知っていること」という方向が、なるべくぶつからないように調整するイメージでしょうか。

このOrthoGradを、間違ったラベルが付いた画像分類のタスクで試したところ、特にデータが少ない小規模な設定（MNISTというデータセット）では、従来のAI（CNN）よりもテスト精度が明確に向上し、間違ったラベルを記憶してしまうことを抑える効果が見られました。

さらに、AIの重みの大きさ（ノルム）や、勾配と重みの角度（コサイン類似度）を分析することで、このOrthoGradがどうして効果を発揮するのかを診断しています。その結果、AIの学習が進む方向（勾配）が、すでに持っている知識（重み）から大きくずれている場合に、この「直交させる」という操作が最も効果的であることが示唆されました。一方で、学習データが大量にあるような大規模な設定では、勾配がすでに重みに対してほぼ直交しているため、この手法の効果は弱まるようです。

ただ、より複雑なデータセット（CIFAR-10）で、より一般的なAIモデル（ResNet-18）を使った実験では、OrthoGradが学習の軌道を変えることはできるものの、最終的にノイズ付きラベルを完全に記憶してしまうことを防ぐまでには至らない、という限界も明らかになりました。この研究は、AIの「記憶」という現象を、勾配という視点から解き明かそうとする興味深い試みと言えるでしょう。