時系列を言語として捉える：汎用時系列基盤モデルのためのユニバーサル・トークナイザー

皆さんは、ChatGPTのような大規模言語モデル（LLM）が、まるで人間のように文章を理解し、生成する能力に驚いたことはありませんか？これらのモデルは、与えられた単語の次にどんな単語が来るかを予測する「次トークン予測」という方法で学習しています。この技術が非常に強力なため、研究者たちはこれを文章以外のデータにも応用できないかと考えてきました。

今回ご紹介する「UniTok」と「UniTok-FM」は、この次トークン予測の考え方を、私たちが日々目にする「時系列データ」に応用しようという画期的な試みです。時系列データとは、株価の変動、スマートウォッチが記録する心拍数、工場のセンサーデータなど、時間が経つにつれて変化する連続的な数字の並びのことです。これまでのLLMは、文章のように区切りのはっきりした「トークン（単語のようなもの）」で扱われるデータには得意でしたが、無限に続くような時系列データを直接扱うのは苦手でした。

そこでUniTokは、この連続的な時系列データを、LLMが理解できる「離散的なトークン」に変換する役割を担います。例えるなら、連続した音楽の波形を、楽譜の音符（トークン）に変換するようなものです。この変換の際に、データの規模が大きく変わっても対応できるように「プレフィックス正規化」という工夫を凝らしたり、データを段階的に細かく見ていく「段階的解像度因果アーキテクチャ」を使ったりしています。さらに、変換したトークンから元の時系列データをできるだけ正確に復元できるよう、「構造保存型再構築損失」という学習方法も取り入れています。

そして、このUniTokが生成したトークンを使って学習するのが「UniTok-FM」です。UniTok-FMは、既存のLLMの基本的な仕組みをそのまま活用しており、時系列データに特化した特別な変更は加えていません。これにより、まるで文章を読み書きするように、時系列データの未来を予測したり、過去のパターンから新しい時系列データを生成したり、あるいは特定のパターンを分類したりできるようになります。これまでの時系列予測モデルは、特定のタスクに特化していることが多かったのですが、UniTok-FMは「汎用的な基盤モデル」として、様々な時系列タスクに柔軟に対応できる可能性を秘めている点が非常に重要です。例えば、これまで特定のセンサーデータ予測には専用のモデルが必要だったのが、UniTok-FM一つで多くの種類の時系列データに対応できるようになるかもしれません。

この技術は、私たちの生活のあらゆる場面で役立つ可能性があります。例えば、スマート家電が私たちの行動パターンを学習して最適な動作をしたり、医療分野で患者の生体データから病気の兆候を早期に発見したり、金融市場の変動をより正確に予測したりと、その応用範囲は計り知れません。時系列データを「言語」として捉えるこのアプローチは、AI活用の新たな扉を開くかもしれません。