อาลีบาบา คลาวด์ เปิดซอร์สโค้ด โมเดล LLM ขนาด 7-พันล้าน-พารามิเตอร์ ตอกย้ำความแข็งแกร่งของพันธสัญญาที่มีต่อโอเพ่นซอร์สคอมมิวนิตี้
อาลีบาบา คลาวด์ ธุรกิจด้านเทคโนโลยีดิจิทัล และหน่วยงานหลักด้านอินเทลลิเจนซ์ของอาลีบาบา กรุ๊ป ประกาศสนับสนุนคอมมิวนิตี้ด้านโอเพ่นซอร์สครั้งล่าสุด ด้วยการเปิดเผยซอร์สโค้ด (open-sourcing) ของ Qwen-7B และ Qwen-7B-Chat ซึ่งเป็นโมเดลด้านภาษาขนาดใหญ่ (LLM) ขนาด 7-พันล้าน-พารามิเตอร์ ที่อยู่บน ModelScope ซึ่งเป็นคอมมิวนิตี้ด้านโมเดล AI ของบริษัทฯ และ Hugging Face ซึ่งเป็นแพลตฟอร์ม AI สำหรับการทำงานร่วมกัน
อาลีบาบา คลาวด์ เปิดตัว Tongyi Qianwen ซึ่งเป็น LLM ที่เป็นกรรมสิทธิ์ของบริษัทฯ เมื่อเดือนเมษายนที่ผ่านมา โมเดลล้ำสมัยนี้สามารถสร้างเนื้อหาได้เหมือนมนุษย์สร้าง ทั้งภาษาจีนและภาษาอังกฤษและมีขนาดโมเดลที่แตกต่างกัน รวมถึงโมเดลที่มีขนาดตั้งแต่เจ็ดพันล้านพารามิเตอร์ขึ้นไป โมเดล open-source ครั้งนี้ ประกอบด้วย Qwen-7B ซึ่งเป็นโมเดลพรีเทรนด์ 7-พันล้าน-พารามิเตอร์ และเวอร์ชั่นที่มีการปรับแต่งด้านการสนทนาที่ชื่อว่า Qwen-7B-Chat
เพื่อสนับสนุนความพยายามที่จะทำให้มีการนำเทคโนโลยี AI ไปใช้ได้อย่างอิสระ มีการเปิดให้นักวิชาการ นักวิจัย และสถาบันเชิงพาณิชย์ ทั่วโลก เข้าถึงโค้ดของโมเดล, model weights, และเอกสารอธิบายรายละเอียดต่าง ๆ ได้ฟรี และสำหรับการใช้ในเชิงพาณิชย์เปิดให้บริษัทที่มีผู้ใช้น้อยกว่า 100 ล้านรายต่อเดือนสามารถใช้โมเดลต่าง ๆ ได้ฟรี ส่วนโปรแกรมต่าง ๆ ที่มีผู้ใช้งานมากกว่านี้สามารถขอไลเซนส์จากอาลีบาบา คลาวด์ ได้
นายจิงเเหริน จ้าว ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของอาลีบาบา คลาวด์ อินเทลลิเจนซ์ กล่าวว่า “เรามุ่งส่งเสริมการใช้เทคโนโลยีให้ครอบคลุม และช่วยให้นักพัฒนาซอฟต์แวร์และธุรกิจขนาดกลางและขนาดย่อม ได้เก็บเกี่ยวประโยชน์ของ generative AI ด้วยการ open-sourcing โมเดลด้านภาษาขนาดใหญ่ที่เป็นกรรมสิทธิ์ของเรา และในฐานะผู้ให้การสนับสนุนระยะยาวของโครงการโอเพ่นซอร์ส เราหวังว่าแนวทางแบบเปิดนี้สามารถนำมาซึ่งภูมิปัญญาร่วมที่แบ่งปันกัน เพื่อขับเคลื่อนให้โอเพ่นซอร์สคอมมิวนิตี้เติบโตต่อไป”
Qwen-7B ได้พรี-เทรนด์บนโทเค็นกว่า 2 ล้านล้านโทเค็น รวมถึง ภาษาจีน ภาษาอังกฤษ และสื่อหลายภาษาอื่น ๆ โค้ด และคณิตศาสตร์ ครอบคลุมสาขาทั่วไปและสาขาวิชาชีพต่าง ๆ โดยมีความยาวของบริบท (context length) แตะระดับ 8K ทั้งนี้ในระหว่างการเทรนด์ได้มีการปรับโมเดล Qwen-7B-Chat ให้สอดคล้องกับคำสั่งของมนุษย์ โดยสามารถนำโมเดล Qwen-7B และ Qwen-7B-Chat ไปใช้ได้ทั้งในโครงสร้างพื้นฐานที่อยู่ในองค์กร (on-premise) และบนคลาวด์ ซึ่งช่วยให้ผู้ใช้สามารถปรับแต่งโมเดลและสร้าง generative models คุณภาพสูงของตนเองได้อย่างมีประสิทธิภาพและประหยัดค่าใช้จ่าย
โมเดลพรี-เทรนด์ Qwen-7B นี้มีความเป็นเลิศในการวัดเกณฑ์มาตรฐานการทำความเข้าใจเรื่องต่าง ๆ ในภาษาหลากหลาย (Massive Multi-task Language Understanding: MMLU) ด้วยคะแนน 56.7 ซึ่งเหนือกว่าโมเดลพรี-เทรนด์โอเพ่นซอร์สอื่น ๆ ที่มีสเกลใกล้เคียงกันหรือแม้แต่โมเดลที่มีขนาดใหญ่กว่าบางโมเดล การวัดประสิทธิภาพนี้ได้ประเมินความแม่นยำของโมเดลข้อความ ในเรื่องของการทำงานหลายอย่างพร้อมกัน ด้วยงาน 57 งานที่ครอบคลุมสาขาต่าง ๆ เช่น คณิตศาสตร์พื้นฐาน วิทยาการคอมพิวเตอร์ และกฎหมาย นอกจากนี้ Qwen-7B ยังได้รับคะแนนสูงสุดในบรรดาโมเดลที่มีพารามิเตอร์เทียบเท่ากันในลีดเดอร์บอร์ดของ C-Eval ซึ่งเป็นชุดการประเมินภาษาจีนที่ครบถ้วนสำหรับโมเดลพื้นฐานต่าง ๆ ชุดการประเมินนี้ครอบคลุม 52 วิชาในสี่สาขาวิชาเฉพาะ ได้แก่ มนุษยศาสตร์ สังคมศาสตร์ STEM และอื่น ๆ Qwen-7B ยังมีประสิทธิภาพโดดเด่นในการวัดเกณฑ์มาตรฐานทางคณิตศาสตร์และการสร้างโค้ด เช่น GSM8K และ HumanEval อีกด้วย
โมเดล Qwen-7B ของอาลีบาบา คลาวด์ มีประสิทธิภาพโดดเด่นในการวัดมาตรฐานหลากหลายเกณฑ์
เมื่อเดือนกรกฎาคม อาลีบาบา คลาวด์ได้เปิดตัว Tongyi Wanxiang ซึ่งเป็นการสร้างภาพด้วย AI ที่ได้รับการออกแบบมาเพื่อสนับสนุนการสร้างสรรค์ภาพให้กับนักพัฒนาซอฟต์แวร์และธุรกิจขนาดกลางและขนาดย่อม นอกจากนี้บริษัทฯ ยังได้เปิดตัว ModelScopeGPT เฟรมเวิร์กที่มีความสามารถรอบตัวและออกแบบมาเพื่อช่วยผู้ใช้งานบรรลุเป้าหมายการทำงานด้าน AI ที่ซับซ้อนและเฉพาะทาง ทั้งโดเมนภาษา วิชั่น และคำพูด ด้วยการใช้ประโยชน์จากโมเดลด้าน AI หลากหลายที่อยู่บน ModelScope ทั้งนี้ อาลีบาบา คลาวด์ ได้เปิดตัว ModelScope เมื่อปีที่ผ่านมา ModelScope เป็นคอมมิวนิตี้โมเดลด้าน AI ที่เป็นโอเพ่นซอร์ส ปัจจุบันประกอบด้วยโมเดล AI มากกว่า 1,000 โมเดล ที่สถาบันด้าน AI ชั้นนำ 20 แห่ง ให้การสนับสนุนช่วยเหลือ
กรุณาดูรายละเอียดของ Gwen-7B และ Gwen-7B-Chat ได้ที่ ModelScope, Hugging Face และ GitHub
