AIは科学を描けるか？ テキストから画像生成・マルチモーダルモデルによる科学図生成評価ベンチマーク

AI（人工知能）の進化が止まりませんね！最近では、文章から絵を生成するAIが、まるで魔法のように私たちを驚かせています。メカニズムの仕組みを図解したり、実験の計画をイラストにしたり、複雑な概念を分かりやすく図にしたりと、科学の世界でもその活用が広がっています。

でも、ここでちょっと立ち止まって考えてみましょう。AIが作った科学図は、本当に「使える」のでしょうか？ 今まで使われてきたAIの絵の評価方法（ベンチマーク）は、自然な風景や人物の絵を評価するために作られたもので、写真のようにリアルか、物がちゃんと写っているか、といった点をチェックしていました。しかし、科学図にはもっと大切なことがあります。例えば、図の中に書かれている文字（ラベル）が正しくて、ちゃんと読めること。図に出てくる要素（エンティティ）とその関係性が、実際の通りに正しく描かれていること。図全体の構造がしっかりしていること。そして、その分野特有の描画ルールを守っていること。これらの「科学図ならでは」のチェック項目を、これまでの評価方法では測ることができませんでした。

そこで、この研究では「SciDraw-Bench（サイドロー・ベンチ）」という新しい評価方法を提案しています。これは、8種類の図と、10の異なる科学分野にまたがる32種類のタスクをまとめたものです。それぞれのタスクでは、AIに「こんな図を作ってほしい」という指示（プロンプト）と、図に含めるべき文字、要素の関係、構造、守るべきルールなどを細かく指定します。そして、AIが作った図が、これらの細かい条件を満たしているかを機械的にチェックできるように工夫されているのです。これにより、AIが生成した科学図の「質」を、より正確に、そして科学的に評価できるようになることが期待されます。この新しい評価方法が登場することで、AIは科学の理解を助ける、より信頼できるパートナーになっていくかもしれませんね。