ディープ単項ネットワークにおける特異学習とオッカムの剃刀

AIの学習って、どうやって上手くいくんだろう？って思ったことありませんか？AIの頭脳であるニューラルネットワークは、たくさんの計算をこなして賢くなっていきます。この賢くなる過程（最適化）で、AIの設計図（モデルのアーキテクチャ）に隠された「クセ」みたいなものが、学習の進み方（勾配ダイナミクス）に影響を与えることが分かっています。特に、「臨界点」と呼ばれる特別な場所が重要で、これはAIのパラメータ（調整つまみ）がうまく機能しなくなる、いわば「つまずきやすいポイント」なんです。これは「特異学習理論」という分野で詳しく研究されている、AIの学習における一番目立つ「弱点」とも言えます。

今回、研究者たちは、この「つまずきやすいポイント」を、もっと数学的なアプローチで調べてみました。使うのは、数式、特に「単項式」（xの2乗とか、xの3乗とか、そういうシンプルな式の仲間）が活性化関数（ニューロンが信号を伝えるかどうかを決めるスイッチみたいなもの）になっているディープなニューラルネットワーク（たくさんの層が重なったAI）です。彼らは、この単項式の「次数」、つまり「何乗か？」という数字が十分に大きくなると、学習の「つまずき」は、実はAIの一部だけが働いていない、あるいは役に立たない、そんな「サブネットワーク」の状態で起こることを発見しました。これは、AIが学習するときに、なぜか「よりシンプルな機能」に落ち着こうとする傾向がある、というのを数学的に説明できる、とっても面白い視点なんです。AIが複雑な問題を解こうとする一方で、その裏では、無駄を省いてシンプルになろうとする力が働いている。まるで、たくさんの道具を使いこなせるようになりたいけど、結局一番使いやすい道具に落ち着く、みたいな感覚でしょうか。この発見は、AIの「暗黙のバイアス」、つまり、明示的に指示されていなくてもAIが持ってしまう傾向を理解する手がかりになりそうです。