Discord、AIモデレーションのバグで無害な画像を理由にユーザーを誤BANしていたことを認める

オンラインコミュニティの秩序を守るために導入されたはずのAI。それが逆に無実のユーザーを大量に締め出してしまった――Discordが直面した問題は、デジタル時代の「自動判断」がいかに脆いものかを露呈させました。

問題の核心は、シンプルです。Discordが不適切なコンテンツを自動検出するために使っているAIが、スプレッドシートやチェス盤、ゲーム内のテクスチャといった、ほぼ全てのユーザーが日常的に使う無害な画像を「危険なコンテンツ」だと誤認識していたということ。その結果、過去2ヶ月で8000人以上が思い当たる理由なく、アカウントを凍結されていました。

私たちがSNSやコミュニティアプリを使う時、「管理者が24時間見張ってる」わけではなく、AIが自動で有害投稿をふるい分けているという前提で成り立っています。しかし今回の事態は、その前提がいかに危ういかを示しました。AIモデレーションは確かに効率的ですが、判定のロジックが「白っぽい画像=危険」みたいな単純な基準になっていれば、スプレッドシートのように見える何の害もない画像も、同じように処理されてしまうわけです。

これは単なる「バグ」の話ではありません。AIに任せる判断には、人間が気づかない「盲点」がある、ということの証明でもあります。特にモデレーションのような「ユーザーの権利制限」に関わる判断では、その後の救済手段や異議申し立てのプロセスが極めて重要になるはずです。今回、大量のユーザーが理由も分からず締め出されていたという事実は、Discordにそのプロセスが不十分だったことも暗に示しています。

AIの進化によって、オンラインの秩序維持は確かに楽になりました。しかし楽さと引き換えに、誰もが「不当な判定」の被害者になり得る世界が来たのかもしれません。技術の便利さと、人間らしい判断のバランスをどう取るか。これはDiscordだけでなく、テック企業全体が向き合わなければならない課題です。