Claude Code に「7人の意地悪なQA」を仕込んでテストケースの観点漏れを潰した

こんにちは！QAエンジニアのAyakaさんによる、AIを使ったテスト設計の工夫についてのお話ですね。AIにテストケースを書かせるのは、最近では珍しくなくなってきました。でも、AIが作ったテストケースが本当に完璧かどうか、というのはまた別の話。AIも万能ではないので、思わぬ落とし穴があったり、大事な視点を見落としていたりすることがあるんです。

Ayakaさんは、製造業向けのSaaS（ソフトウェア・アズ・ア・サービス）の開発で、テストの設計や品質管理を担当されています。SaaSというのは、インターネットを通じて使える便利なソフトのこと。このお話では、BlazorやRadzen、SQL Serverといった技術が使われているそうですが、これらはソフトウェアを作るための道具だと思ってください。Ayakaさんは、こうした開発の現場で、品質をしっかり守るための大切な仕事をしているんですね。

最近は、コーポレートIT、つまり会社全体のITシステムを支える仕事も兼務されているとのこと。開発だけでなく、会社がスムーズに動くためのIT基盤にも関わっているなんて、幅広く活躍されているのが分かります。

さて、今回の記事のポイントは、AIが作ったテストケースの「観点漏れ」をどうやって見つけるか、という点です。AIに「こんな機能だから、こんなテストをしてね」とお願いすると、ある程度のテスト項目は自動で生成してくれます。これは、テスト作成にかかる時間を大幅に短縮できる、まさにAIの得意技と言えるでしょう。でも、AIはあくまでプログラム。開発者が「こういうケースは絶対に起こりうるはずだ」「こういう状況では問題が出やすい」といった、経験に基づいた深い洞察や、イレギュラーな状況を想定したテストまで、完璧に網羅してくれるとは限りません。いわば、AIは「素直」にテストを作るけれど、「意地悪」な視点まではなかなか持てないのです。

そこでAyakaさんは、「7人の意地悪なQA」というユニークなアプローチを考案されました。これは、AIにテストケースを作らせた後、さらに「意地悪な質問」を投げかけることで、AIが見落としている可能性のあるテスト項目や、考慮が足りない部分を洗い出そうという試みです。まるで、AIに「本当に大丈夫？」「こんなこと考えてる？」と問い詰めるようなイメージですね。この「意地悪なQA」を仕込むことで、AIが生成したテストケースの質をグッと高め、より網羅的で信頼性の高いテスト設計を目指しているのです。AIの能力を最大限に引き出しつつ、人間ならではの「盲点に気づく力」を組み合わせることで、ソフトウェアの品質をさらに向上させようという、QAエンジニアとしてのプロフェッショナルな姿勢が光るお話だと思います。