Wan 2.5のリップシンク技術を理解する

Wan 2.5は、ネイティブマルチモーダルアーキテクチャを通じてAI動画生成のリップシンクに革命的なアプローチを導入しました。

以前のアプローチが音声と映像を別々のモダリティとして扱っていたのとは異なり、Wan 2.5はそれらを統一されたフレームワークで一緒に処理します。これにより、口の動きと音声の間のより正確な同期が可能になります。

この技術は音声入力の音素を分析し、生成プロセス中にリアルタイムで対応するビセム（視覚的な口の形）を生成します。これにより、不気味の谷を通過する自然に見える発話が実現します。

この機能により、バーチャルアンカー、デジタルヒューマン、吹き替えアプリケーションなど、新しいユースケースが開かれました。