BatchDAG: LLM計画実行グラフによるエンタープライズデータに対するスケーラブルなアドホック分析

最近、ChatGPTのようなAI（大規模言語モデル、LLMと呼ばれます）が、個々の文章を読んだり、質問に答えたりするのがすごく得意だって話題ですよね。でも、会社が持っているたくさんのデータ、例えば何万件もの顧客情報とか、商品の売上データみたいな、ものすごく大きなデータセットを分析しようとすると、LLMはちょっと苦手なところがあるんです。

その理由はいくつかあります。まず、「コンテキストオーバーフロー」といって、一度に扱える情報量には限界があるため、たくさんの情報が入ったデータ全体を一度に理解するのが難しい。次に、「エンティティごとの帰属の喪失」というのは、例えば「田中さん」という顧客が、どの商品を買ったのか、どこの支店で取引したのか、といった個々の情報と「田中さん」という人物を結びつけるのが難しくなることです。さらに、「シーケンシャルなツール呼び出しによる線形レイテンシ」というのは、データを分析するためにAIが色々なツール（例えば、データベースから情報を引っ張ってくる、計算をする、といった作業）を順番に呼び出すのですが、この順番待ちが、データが多ければ多いほど、時間がかかってしまう、ということです。

そこで、この論文で提案されているのが「BatchDAG」という新しいシステムです。BatchDAGは、LLMに直接データ全体を分析させるのではなく、まず「どのような分析をしたいか」という指示から、分析のステップを「操作の型付き有向非巡回グラフ（DAG）」として生成させます。DAGというのは、作業の順番や関係性を図にしたもので、どの作業をどの順番で行えば効率が良いか、という道筋を示してくれるものです。そして、このDAGに従って、専用のエンジンが、データを並列で処理したり、構造化されたJSON形式でデータをやり取りしながら、分析を進めていきます。

BatchDAGのすごいところは、「エンティティ認識バッチ処理」という最適化です。これは、分析の途中で、同じ顧客（エンティティ）に関する情報をまとめて処理するという考え方です。例えば、ある顧客の購入履歴を分析する際に、その顧客に関する全ての情報を一度に集めてからLLMに渡すことで、何度もその顧客についてLLMに質問する手間を省くことができます。このおかげで、LLMへの問い合わせ回数を最大で47倍も減らすことができるそうです。

BatchDAGは、人工的に手間をかけて作った分析の仕組みよりも精度を上げることが目的ではありません。むしろ、これまで専門家が色々なツールを組み合わせて作っていた複雑な分析のやり方を、自然言語で指示するだけで、AIが自動的に最適な分析方法を考えて実行してくれる、そんな「何でも屋さんの司令塔」のような役割を目指しています。これにより、企業は大量のデータをより効率的かつ網羅的に分析できるようになることが期待されます。