エッジ向けベンガル語ASR、トークナイザー移植で自己回帰崩壊を緩和

インドやバングラデシュで2億人以上が使うベンガル語。この言語をスマートフォンやタブレットなどの小型デバイスで音声認識させることは、これまで想像以上に難しい課題でした。

理由は意外とシンプルです。現在のAI音声認識の多くは、英語など文法がシンプルな言語を基準に設計されています。英語は単語がはっきり区切られていますが、ベンガル語は複雑な文法変化があり、単語の形が次々と変わります。そこで、英語用に作られた「文字の切り分け方」をそのままベンガル語に使うと、単語がバラバラに細かく分解されてしまい、AIが正しく理解できなくなっていたわけです。

研究チームが着目したのは「トークナイザー」という、文章を単位ごとに分割する仕組みです。これまではベンガル語でも汎用的なツールが使われていましたが、今回、ベンガル語そのものの特性に合わせた新しい分割ルール（WordPiece語彙）を開発しました。言い換えれば、ベンガル語話者なら自然に捉える単語のまとまりを、AIにも「見えやすく」してあげたということです。

成果の数字を見ると、単語エラー率（認識がどれだけ間違うか）が21.54%に抑えられ、リアルタイムファクター（処理速度）も0.0053という、実用的なレベルに達しています。つまり、スマートフォンの限られた計算力の中でも、十分な精度で動作することが確認されたわけです。

このアプローチは、ベンガル語だけの話ではありません。アラビア語、タイ語、ハングル、漢字圏の言語など、英語とは全く異なる文法・文字体系を持つ言語は世界にたくさんあります。今回の成功パターンが広がれば、スマートフォンで使える音声AI自体が、言語による「格差」なく活用できる時代に向かう可能性があります。現状では高所得国の言語ばかり優遇されているデジタル環境が、少しずつ変わってくるかもしれません。