マルチモーダル音声モデルが「ラジオ向きの顔」と判定する

ニュース概要

。大規模ニューラルモデルが言語タスクで高性能化するにつれ、研究者はより多くのデータモダリティを処理するマルチ・オムニモーダルモデルを構築している。例としては、ノイズ軽減とマルチモーダル字幕化のため、音声認識モデルを音声・ビジュアルデータに拡張したこと。