熱力学AIモデルのスケールアップ

AI（人工知能）の世界では、より賢く、より速く、そして何よりも、もっと省エネなコンピューターを作るための研究が日々行われています。今回ご紹介するのは、そんなAIの進化に、ちょっと変わったアプローチで挑む研究です。

AIが学習する際、たくさんのデータを処理して、その中からパターンを見つけ出す必要があります。その処理には、どうしても電力が必要になります。特に、スマートフォンやスマートウォッチのような、小さなデバイスでAIを動かす（これを「エッジコンピューティング」と呼びます）場合、電力の消費は大きな課題となります。そこで、この研究では「熱力学」という、物理学の中でも特にエネルギーの動きを扱う分野の考え方を取り入れた、新しいコンピューターの仕組み（アイジングモデルに基づく熱力学コンピューティングデバイス）に注目しています。

この熱力学コンピューターは、AIが「推論」、つまり学習した知識を使って答えを出す作業を、非常に少ない電力で行える可能性を秘めています。しかし、これまでこの種のハードウェアで、AIの学習に使う「大きなモデル」を育てるための、効率的な方法が限られていました。

そこで研究チームは、ある理論的なアイデアを、実際のコンピューターで使える形にしました。その理論とは、熱力学コンピューターの仕組み（高温ギブズサンプリングされたアイジングシステム）が、AIの推論と同じような働きをできる、というものです。この理論を元に、熱力学コンピューター上でAIを賢くするための、新しい学習アルゴリズム（スケーラブルかつ純粋なバックプロパゲーションベースのアルゴリズム）を開発したのです。

この新しい方法を使って、画像認識のAIモデルを訓練したところ、驚くべき結果が出ました。CIFAR-10という有名な画像データセットでは94.9%、CIFAR-100では76.0%という高い正答率を達成したのです。これは、少ない電力で動くコンピューターでも、かなり高度な画像認識ができることを示唆しています。

さらに、この研究では、AIの推論にかかるコスト（電力や時間）と、その精度との関係を数学的に解き明かし、実験でも確かめました。これにより、AIの性能を最大限に引き出すための「最適な動かし方」がわかるようになります。まるで、車の運転で、燃費とスピードのバランスをうまく取るようなイメージです。研究者たちは、推論のコストと性能の間に、うまくコントロールできるトレードオフ（何かを得るために何かを犠牲にする関係）があることを示し、最も効率的な推論の進め方を計算するアルゴリズムも提案しています。