デバイス上リアルタイム字幕翻訳のためのワークロード駆動型最適化

「スマホで外国語の動画を見たいけど、字幕がリアルタイムで翻訳されないかな？」と思ったことはありませんか？ この研究は、そんな願いを叶えるための技術開発について報告しています。特に、台湾で英語の動画を繁体字中国語の字幕に翻訳する、という具体的な場面を想定しています。

普段、私たちが使う翻訳サービスは、たくさんの文章をまとめて処理することで効率を上げています。でも、動画の字幕のように、ひとつひとつが短くて、すぐに翻訳結果が必要な場合は、そういったやり方ではうまくいきません。さらに、スマホのような小さなデバイスで動かすとなると、性能にも限界があります。プライバシーの問題で、データを外に出せない、という制約もあります。

そこで、この研究では、こうした「短い入力」「短い出力」「一度に一つずつ処理（バッチサイズ1）」「速さが命（低遅延）」「プライバシー重視」といった、リアルタイム字幕翻訳ならではの条件に合うように、AIモデルを工夫しました。具体的には、AIが言葉を理解するための「語彙」の数を、翻訳したい字幕の分野に特化させて減らしました。さらに、AIが新しい言葉や表現を学習できるように、少しだけ「再調整（ファインチューニング）」を行いました。

その結果、開発された「LocalSubs」というシステムは、Google翻訳と比較して、より自然で正確な翻訳ができることを示しました。特に、短い字幕が次々と現れる場面でその効果を発揮しました。ただし、処理する字幕の数が増えると、性能が落ちるという課題も見つかっています。

この技術が進めば、海外のドラマや映画を、まるで日本語で作られたかのように、リアルタイムで、しかもスマホで快適に楽しめる日が来るかもしれませんね。私たちの生活が、もっと便利で豊かになる可能性を秘めた研究と言えるでしょう。