Wan 2.2 MoE 아키텍처 설명

Wan 2.2는 비디오 생성에 획기적인 Mixture of Experts (MoE) 아키텍처를 도입하여 효율성을 극적으로 향상시켰습니다.

모델은 총 270억 개의 파라미터를 가지고 있지만, 어떤 생성에서든 활성화되는 것은 140억 개뿐입니다. 이 희소 활성화 패턴은 유사한 능력을 가진 밀집 모델에 비해 계산 요구 사항을 약 50% 줄입니다.

아키텍처는 특화된 전문가 네트워크를 사용하며, 각각 비디오 생성의 다양한 측면—모션, 조명, 텍스처 등—을 처리하도록 훈련됩니다. 게이팅 네트워크는 각 생성을 가장 적합한 전문가에게 라우팅하는 것을 학습합니다.

이 설계를 통해 Wan 2.2는 실제로 더 적은 계산 리소스를 사용하면서 Wan 2.1보다 더 나은 품질을 달성할 수 있어, 제한된 하드웨어를 가진 사용자에게 더 접근하기 쉬워집니다.