超精密インデックス「PageIndex」で実現する推論ベースRAG（JTC版）

最近、AIを使って大量の文書から必要な情報を探し出す技術「RAG（検索拡張生成）」が注目を集めています。これは、AIが質問に答える際に、事前に用意された情報源から関連する部分を探し出し、それを参考に回答を作るというものです。しかし、従来のRAGには、ちょっとした限界がありました。

これまでのRAGの多くは、「ベクタ検索」という方法を使っていました。これは、文書の内容を数字の並び（ベクタ）に変換し、質問のベクタと「似ている」文書を探すというものです。例えるなら、図書館で「猫」というキーワードで本を探すときに、タイトルや内容に「猫」という言葉が含まれている本を片っ端から探すようなものです。これでも多くの場合はうまくいきますが、本当に知りたい情報が、直接的な言葉の類似性では見つからないことがあります。

例えば、「猫が喜ぶ遊び方」について知りたいのに、「猫の生態」という本には、遊び方に関する直接的な記述がなくても、その生態から遊び方を推測できるヒントが隠されているかもしれません。しかし、言葉の「似ている度合い」だけで探すと、そうした深い関連性を見逃してしまう可能性があります。

今回ご紹介する「PageIndex」は、この限界を乗り越えようとする新しいアプローチです。これは、文書をただの情報の塊として見るのではなく、まるで「意味的な目次」のように、その文書が持つ論理的な構造を理解しようとします。具体的には、文書をツリー構造、つまり大きな見出しの下に小さな見出しがあり、その下に具体的な内容がある、といった階層的な構造に分解します。そして、それぞれの見出しや内容の要約を、AI（LLM）が非常に分かりやすく、かつ情報密度の高い形で生成します。このAIが作った要約こそが、新しい「検索キー」となるのです。

この方法の面白いところは、検索の仕方が「類似性」から「構造」へと変わる点です。従来の検索が「この言葉に似ているか？」と聞いていたのに対し、PageIndexを使った検索は「この文書のこの部分が、質問の意図と論理的にどう関連するか？」という視点で情報を探します。これは、図書館で本を探すときに、単にキーワードで探すだけでなく、本の目次をじっくり読み込み、「この章には、私が知りたい内容の背景や前提が書かれているに違いない」と推測しながらページをめくるようなイメージです。

このような「推論ベースの検索」は、より深い理解に基づいた情報探索を可能にします。単なる言葉の表面的な一致だけでなく、文書が持つ本来の意味や意図を汲み取り、質問に対する最適な答えへと導いてくれる可能性を秘めているのです。特に、複雑な技術文書や法律文書など、論理的なつながりが重要な情報源において、その真価を発揮するでしょう。