อาลีบาบา เปิดตัว Wan2.2 โมเดลสร้างวิดีโอขนาดใหญ่แบบโอเพ่นซอร์สที่สร้างบนสถาปัตยกรรม MoE (Mixture-of-Experts) เป็นโมเดลแรกในอุตสาหกรรม เพื่อช่วยยกระดับความสามารถในการผลิตวิดีโอสไตล์ภาพยนตร์ให้กับครีเอเตอร์และนักพัฒนา ด้วยการคลิกเพียงครั้งเดียว
Wan2.2 series เป็นไฮบริดโมเดลที่รองรับการสร้างวิดีโอจากข้อความและจากภาพภายใต้เฟรมเวิร์กเดียวกัน ประกอบด้วยโมเดลแปลงข้อความเป็นวิดีโอ Wan2.2-T2V-A14B และโมเดลแปลงภาพเป็นวิดีโอ Wan2.2-12V-A14B และ Wan2.2-TI2V-5B
Wan2.2-T2V-A14B และ Wan2.2-I2V-A14B สร้างขึ้นบนสถาปัตยกรรม MoE ได้รับการเทรนด้วยชุดข้อมูลภาพที่คัดสรรมาอย่างพิถีพิถัน ทำให้สามารถสร้างวิดีโอที่มีคุณภาพและสวยงามในเกรดภาพยนต์ ครีเอเตอร์สามารถควบคุมมิติสำคัญ ๆ ได้อย่างแม่นยำ เช่น แสง เวลาที่ต้องการ โทนสี มุมกล้อง ขนาดของเฟรม องค์ประกอบ และ ระยะโพกัส เป็นต้น
โมเดล MoE ทั้งสองนี้ ยังแสดงให้เห็นถึงประสิทธิภาพในการสร้างการเคลื่อนไหวที่ซับซ้อนได้อย่างโดดเด่น ไม่ว่าจะเป็นการแสดงออกทางสีหน้าที่สดใส ท่าทางมือที่เคลื่อนไหวแบบไดนามิก ไปจนถึงการเคลื่อนไหวที่ซับซ้อนของการเล่นกีฬา นอกจากนี้ยังช่วยให้การนำเสนอสมจริง ด้วยความสามารถในการทำตามคำสั่งและยึดหลักปฏิบัติตามกฎทางกายภาพได้ดีมากขึ้น
Wan2.2-T2V-A14B และ Wan2.2-I2V-A14B ใช้การออกแบบ แบบ two-expert ในกระบวนการลดเสียงรบกวนของโมเดลการแพร่กระจาย (diffusion model) ต่าง ๆ เพื่อแก้ปัญหาในการสร้างวิดีโอที่ต้องใช้ทรัพยากรประมวลผลสูงที่เกิดจากการใช้โทเค็นที่ใช้ได้ตลอดระยะเวลาของการสตรีมสื่อ (long tokens) ซึ่งรวมถึง high-noise expert ที่เน้นไปที่เค้าโครงของฉากในภาพรวม และ low-noise expert เพื่อปรับแต่งรายละเอียดและพื้นผิว ทั้งนี้แม้ว่าทั้งสองโมเดลจะมีพารามิเตอร์รวม 27 พันล้านพารามิเตอร์ แต่ในแต่ละขั้นตอนจะเปิดใช้งานเพียง 14 พันล้านพารามิเตอร์เท่านั้น ทำให้สามารถลดการใช้ทรัพยากรการประมวลผลลงได้มากถึง 50%
Wan2.2 รองรับการปรับแต่งอย่างละเอียดผ่านระบบพรอมต์ที่ได้รับแรงบันดาลใจจากงานภาพยนตร์ โดยจัดหมวดหมู่มิติสำคัญต่าง ๆ เช่น แสง ความสว่าง องค์ประกอบภาพ และ โทนสี ช่วยให้ Wan2.2 สามารถตีความและถ่ายทอดเจตนารมณ์ของผู้ใช้งานได้อย่างแม่นยำตลอดกระบวนการสร้างวิดีโอ
Wan2.2 ได้รับการเทรนจากชุดข้อมูลที่มีขนาดใหญ่ขึ้นมาก เพื่อเพิ่มความสามารถให้ใช้ได้ในวงกว้างมากขึ้น และเพิ่มความหลากหลายของการสร้างสรรค์ โดยมีข้อมูลภาพเพิ่มขึ้น 65.6% และข้อมูลวิดีโอเพิ่มขึ้น 83.2% เมื่อเทียบกับ Wan2.1 ทำให้ Wan2.2 มีประสิทธิภาพในการสร้างฉากและการเคลื่อนไหวที่ซับซ้อน รวมถึงความสามารถในการแสดงออกทางศิลปะเพิ่มมากขึ้น
โมเดลขนาดกะทัดรัด เพื่อเพิ่มประสิทธิภาพและความสามารถในการปรับขนาด
Wan2.2 มาพร้อม Wan2.2-TI2V-5B ซึ่งเป็นไฮบริดโมเดลของ Wan2.2 และเป็น dense model ที่ใช้สถาปัตยกรรม 3D VAE ที่มีอัตราการบีบอัดข้อมูลสูง เพื่อให้ได้ใช้อัตราส่วนการบีบอัดเชิงเวลาและเชิงพื้นที่ที่ 4x16x16 ซึ่งช่วยเพิ่มอัตราการบีบอัดข้อมูลโดยรวมที่ 64 ทั้งนี้ TI2V-5B สามารถสร้างวิดีโอยาว 5 วินาที และมีความละเอียด 720P ได้ในเวลาไม่กี่นาทีบน GPU ที่เป็นเกรดผู้บริโภคเพียงตัวเดียว เป็นการช่วยให้นักพัฒนาและคอนเทนต์ครีเอเตอร์สร้างสรรค์วิดีโอได้อย่างมีประสิทธิภาพและสามารถปรับขนาดได้ตามต้องการ
โมเดล Wan2.2 พร้อมให้ดาวน์โหลดแล้วบน Hugging Face และ GitHub รวมถึงบน ModelScope ซึ่งเป็นชุมชนด้านโอเพ่นซอร์สของอาลีบาบา คลาวด์ นอกจากนี้ อาลีบาบา ในฐานะหนึ่งในผู้มีส่วนร่วมหลักของชุมชนโอเพ่นซอร์สระดับโลก ได้เปิดโอเพ่นซอร์สโมเดล Wan2.1 สี่โมเดล เมื่อเดือนกุมภาพันธ์ 2568 และโอเพ่นซอร์ส Wan 2.1-VACE (โมเดลสร้างและตัดต่อวิดีโอแบบ all-in-one) เมื่อเดือนพฤษภาคม 2568 ปัจจุบัน โมเดลเหล่านี้มียอดดาวน์โหลดมากกว่า 5.4 ล้านครั้งบน Hugging Face และ ModelScope
