NVIDIAの推論ソフトウェアスタックが最低トークンコストを実現

AIを使い始めた企業が、ちょっとした実験（パイロットプロジェクト）から、本格的な「AI工場」へとステップアップする段階に来ています。そうなると、AIを動かすための設備選びで、一番大事な考え方が変わってくるんです。

以前は、AIの性能を最大限に引き出すには、どんなに高性能なチップが必要か、という「チップのスペック」が重視されがちでした。でも、これからは「トークンあたりのコスト」が決め手になります。トークンというのは、AIが理解したり、生成したりする言葉の最小単位のようなもの。例えば、「今日の天気は？」という質問なら、「今日」「の」「天気」「は」「？」の5つのトークン、といった具合です。

つまり、1ドルでどれだけのトークンを処理できるか、1ワットの電力でどれだけのトークンを出せるか、そして、どれだけ速く（レイテンシ目標内）トークンを生成できるか、という点が、企業にとっては非常に重要になってきているのです。AIをビジネスでしっかり活用していくためには、単に高性能なだけでなく、コストパフォーマンスと効率性が求められる時代になった、と言えるでしょう。NVIDIAは、こうした企業のニーズに応えるために、推論ソフトウェア（AIに質問して答えを出させるためのソフトウェア）を改良し、トークンあたりのコストを最小限に抑えることに成功した、と伝えています。これは、AIをより多くの企業が、より手軽に、そして経済的に利用できるようになるための大きな一歩と言えそうです。