中間表現なしで動画の動きを画像に転送、キャラアニメAI「SCAIL-2」(PC Watch)

動画の動きを、まるで魔法のように別のキャラクターに転送するAI技術が、また一歩進化しました。清華大学とZ.aiの研究チームが発表した「SCAIL-2」は、この分野で注目すべき進歩を遂げています。

これまで、人が動く動画の動きをアニメキャラクターなどに反映させるには、一度「中間表現」と呼ばれる骨格データや関節の動きのデータに変換する作業が必要でした。これは、人間が絵を描くときに、まず大まかな骨組みを描いてから肉付けしていくようなものです。しかし、この中間表現を作る過程で、動きの細かなニュアンスが失われたり、複雑な動きを正確に再現するのが難しかったりする課題がありました。

SCAIL-2が画期的なのは、この「中間表現」をすっ飛ばして、直接、動画の動きを画像に転送できるようになった点です。例えるなら、骨格を描かずに、いきなり躍動感ある人物画を描き上げるようなものです。これにより、より自然で滑らかな動きがキャラクターに反映される可能性が高まります。例えば、ダンサーの複雑なステップや、繊細な手の動きなども、そのままキャラクターに表現できるようになるかもしれません。

この技術は、特にアニメーション制作の現場に大きな変化をもたらすでしょう。これまで手間と時間のかかっていたキャラクターアニメーションの制作が、大幅に効率化される可能性があります。アニメーターが一つ一つの動きを細かく描く代わりに、実際の人物の動きをAIが読み取り、自動でキャラクターに転写してくれるようになるのです。これにより、より多くの作品が、より短期間で、より高品質に生み出されることが期待されます。

また、ゲームの世界でも、キャラクターの動きがさらにリアルになり、プレイヤーの没入感を高めることにつながるでしょう。さらには、メタバースのような仮想空間でのアバターの動きにも応用され、より表現豊かなコミュニケーションが可能になるかもしれません。私たちの身近なエンターテインメントが、この技術によって、どのように進化していくのか、今から楽しみですね。