เปิดตัว “Typhoon” ที่สุดของ Large Language Model สำหรับภาษาไทยในตลาดขณะนี้ จาก SCB 10X

ในปีที่ผ่านมาเราได้เห็นนวัตกรรมและโมเดลปัญญาประดิษฐ์ (Artificial Intelligence หรือ AI) ใหม่ๆ ที่เกิดขึ้นมากมายและพัฒนาอย่างก้าวกระโดด โดยเฉพาะโมเดลภาษาขนาดใหญ่ (Large Language Model หรือ LLM) ที่เป็นไฮไลต์สำคัญของอุตสาหกรรมและเป็นเทคโนโลยีเบื้องหลังของ ChatGPT แอปพลิเคชัน AI ที่เติบโตเร็วที่สุดในประวัติศาสตร์

อย่างไรก็ตาม โมเดลภาษาขนาดใหญ่ในตลาดมักมุ่งเน้นพัฒนาภาษาอังกฤษเป็นหลัก เนื่องจากภาษาไทย หรือภาษาอื่นๆ ในแถบเอเชียตะวันออกเฉียงใต้มีข้อมูลและทรัพยากรสำหรับการพัฒนาโมเดลที่จำกัด (Low-Resource Language) ส่งผลให้ประสิทธิภาพการใช้งานและการนำไปพัฒนาต่อยอดทำได้ไม่ดีเท่าโมเดลภาษาอังกฤษ ซึ่งเป็นความท้าทายสำคัญของนักพัฒนา AI ในไทย

และ SCB 10X จึงได้เปิดตัว “Typhoon-7B” โมเดลภาษาขนาดใหญ่ที่พัฒนาให้เข้าใจและสื่อสารภาษาไทยโดยเฉพาะ (Large Language Model Optimized For Thai) เพื่อเอาชนะความท้าทายดังกล่าว 

Typhoon-7B เป็นโมเดลภาษาไทยขนาด 7 พันล้านพารามิเตอร์ ซึ่งได้รับการประเมินผลว่ามีประสิทธิภาพสูงสุดในตลาดในขณะนี้และมีประสิทธิภาพเทียบเท่ากับ GPT-3.5 ในภาษาไทย จากการวัดผลด้วยข้อสอบภาษาไทยที่มีระดับความยากเทียบเท่าข้อสอบมัธยมปลาย เช่น O-NET, TGAT, TPAT, A-Level รวมถึงแบบทดสอบ IC (Investment Consultant) สำหรับผู้ให้คำปรึกษาด้านการลงทุน 

ที่สำคัญ Typhoon-7B สามารถประหยัดจำนวนโทเคนภาษาไทยได้มากกว่า GPT-4 ถึง 2.62 เท่า ซึ่งเป็นสัญญาณที่ดีของการพัฒนาโมเดลขนาดใหญ่ฝีมือคนไทย



Typhoon-7B ได้รับการพัฒนาต่อยอดจากโมเดล “Mistral-7B” โดยได้มีการเพิ่มคำศัพท์ภาษาไทยเข้าไปอีกกว่า 5,000 คำ ซึ่งได้รับการฝึกและปรับแต่ง (Finetuning) อย่างต่อเนื่องด้วยโมเดลเสริมอย่าง Low-Rank Adaptation (LoRA) ที่มีการใช้อย่างแพร่หลายและมีประสิทธิผลสูง

เพื่อการต่อยอดและพัฒนาในวงกว้างและเป็นประโยชน์กับการพัฒนาโมเดลภาษาไทยขนาดใหญ่ในอนาคต SCB 10X ได้ปล่อยโมเดล Typhoon-7B เวอร์ชัน Pretrained ให้ใช้งานได้ฟรี โดยเป็นโมเดลเวอร์ชันพื้นฐานที่สามารถนำไปปรับแต่งและใช้งานต่อยอดได้ตามต้องการ

สรุป

โมเดล “Typhoon-7B” ถือเป็นข้อพิสูจน์ความก้าวหน้าในการสร้างโมเดลภาษาไทยขนาดใหญ่ ด้วยการก้าวข้ามความท้าทายของภาษาที่มีทรัพยากรจำกัด (Low-resource Language) อย่างภาษาไทย

Typhoon-7B ไม่เพียงแต่มีประสิทธิภาพเหนือกว่าโมเดลภาษาไทยอื่นๆ ที่มีอยู่ในตลาดเท่านั้น แต่ยังแข่งขันได้อย่างทัดเทียมกับโมเดลภาษาขนาดใหญ่ระดับโลกที่รองรับภาษาไทย จึงเป็นอีกก้าวสำคัญในการศึกษาเทคโนโลยีการประมวลผลภาษาธรรมชาติของภาษาไทย (Thai Natural Language Processing หรือ Thai NLP) เพื่อต่อยอดโมเดล AI ที่เข้าใจภาษา วัฒนธรรม และความต้องการของคนไทยมากยิ่งขึ้น 

สำหรับผู้ที่สนใจและนักพัฒนาสามารถทดลองใช้ Typhoon-7B เวอร์ชัน Pretrained Model ภายใต้ใบอนุญาต Apache 2.0 โดยไม่มีค่าใช้จ่าย ดาวน์โหลดได้ที่ https://huggingface.co/scb10x/typhoon-7b 

สามารถอ่านรายละเอียดรายงานเชิงเทคนิคเกี่ยวกับการพัฒนาและการวัดผลโมเดล Typhoon-7B ที่ https://arxiv.org/abs/2312.13951

และสำหรับผู้ที่สนใจสามารถลงทะเบียน Waiting List เพื่อใช้งานโมเดล Instruction-Tuned เวอร์ชันเริ่มต้นในรูปแบบของ API ได้เร็วๆ นี้ ที่ https://opentyphoon.ai