安全データシートからの情報抽出における大規模言語モデルのベンチマーク

皆さんは「安全データシート（SDS）」という言葉をご存知でしょうか？これは、化学物質の危険性や安全な取り扱い方法について書かれた、いわば「化学物質の取扱説明書」のようなものです。工場や研究所など、化学物質を扱うあらゆる現場で、作業員の安全を守るために非常に重要な役割を果たしています。

ところが、このSDS、実はその形や書き方が統一されているわけではありません。会社によって様式が違ったり、情報が載っている場所がバラバラだったりします。そのため、必要な情報を手作業で探し出してまとめるのは、時間も手間もかかる大変な作業でした。まさに、膨大な書類の中から宝探しをするようなものです。

そこで注目されているのが、人工知能、特に最近話題の「大規模言語モデル（LLM）」の活用です。LLMは、人間が話す言葉を理解し、文章を生成する能力に長けています。これを使えば、SDSから必要な情報を自動で読み取り、整理できるのではないか、という期待が高まっています。

今回ご紹介する研究は、このLLMがSDSからの情報抽出において、どの程度の実力を持っているのかを徹底的に調べたものです。具体的には、GoogleのGemini 1.5 Pro、OpenAIのGPT-4o、AnthropicのClaude 3.7 Sonnet、そしてMetaのLlama 3.1-70Bという、今をときめく4つのLLMを比較しました。さらに、これらのモデルにどう指示を出すか（プロンプト戦略）も、「ゼロショット」（何も教えずにいきなり質問）、「フューショット」（いくつかの例を見せてから質問）、「連鎖思考」（段階的に考えるように指示）の3種類を試しています。

驚くべきは、この研究で「テキストベースの抽出」が「マルチモーダル処理」よりも優れていると結論付けられた点です。マルチモーダル処理というのは、文字だけでなく、画像なども含めて情報を理解する技術のこと。SDSには表や図も含まれるため、マルチモーダルの方が有利かと思いきや、純粋なテキスト情報として処理する方が精度が高かったというのは、興味深い結果です。

そして、最も良い成績を収めたのは、Gemini 1.5 Proと「連鎖思考プロンプト」の組み合わせでした。84%という高い精度を達成し、他のモデルを上回っています。これは、LLMにただ答えを求めるのではなく、まるで人間が考えるように「まずはこれを考えて、次にこれを見て…」と段階的に指示を出すことが、複雑な情報抽出において非常に有効だということを示しています。

この技術が進歩すれば、SDSからの情報抽出にかかる手間が大幅に削減され、より早く、より正確に、化学物質のリスクを評価できるようになります。結果として、作業員の安全性が向上し、企業はより効率的にリスク管理を行えるようになるでしょう。まさに、私たちの生活を陰で支える重要な進化と言えます。