Mới đây, Zalo AI đã công bố Báo cáo tình hình phát triển các mô hình ngôn ngữ lớn (Large Language Model – LLM) tiếng Việt trong năm 2024 dựa trên nền tảng đánh giá và xếp hạng năng lực tiếng Việt VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models).
Bảng xếp hạng mô hình ngôn ngữ lớn tiếng Việt (VMLU Leaderboard) tính đến ngày 31/12/2024 dựa trên điểm số về năng lực ở các lĩnh vực: tổng quát, STEM, khoa học xã hội, khoa học nhân văn và mở rộng.
Báo cáo của Zalo AI ghi nhận sự phát triển mạnh mẽ của các mô hình ngôn ngữ lớn hướng đến người dùng Việt Nam. Cụ thể trong năm 2024, VMLU công bố 45 LLM trên bảng xếp hạng, tiếp nhận yêu cầu đánh giá của hơn 155 tổ chức & cá nhân, tổng kết 691 lượt tải bộ tiêu chuẩn đánh giá và 3.729 lượt đánh giá LLM từ nền tảng.
Bên cạnh các nhóm nghiên cứu phát triển trong nước, nhiều đơn vị nước ngoài cũng tối ưu LLM cho tiếng Việt. Các nhà phát triển quốc tế gửi đánh giá lên VMLU tiêu biểu như: UONLP x Ontocord – Trường ĐH Oregon (Hoa Kỳ), DAMO Academy – Alibaba Group (Trung Quốc), SDSRV teams – Samsung.
Không chỉ các doanh nghiệp mà nhóm nghiên cứu thuộc các trường đại học tại Việt Nam cũng góp mặt trong bảng xếp hạng, cụ thể như: ML4U – Trường ĐH Bách khoa – ĐHQG TP.HCM, FPTU HCM – Trường ĐH FPT TP.HCM. Đây là tín hiệu tích cực cho sự phát triển của lĩnh vực AI trong môi trường giáo dục, thúc đẩy sự phát triển bền vững lâu dài.
Tuy số lượng còn hạn chế, nhiều mô hình LLM do người Việt tự huấn luyện đã bứt phá đạt vị trí cao trong bảng xếp hạng VMLU Leaderboard, trực tiếp cạnh tranh với những mô hình của các “ông lớn” như Llama-3-70B (Meta), GPT-4 (OpenAI) hay gemini (Google).
Cụ thể, KiLM-13b-v24.7.1 được phát triển bởi Zalo AI vươn lên vị trí số 2 from-scratch models (mô hình được huấn luyện từ đầu) với số điểm tổng quát trung bình 66,07 – xếp sau mô hình Llama-3-70B đang đứng đầu bảng với 66,44 điểm. Một mô hình khác của người Việt là ViGPT-1.6B-v1 (thuộc Vin BigData) cũng nằm trong Top 10 from-scratch models, xếp ở vị trí thứ 8.
Đối với bảng xếp hạng LLM fine-tuned models, 9/10 LLM trong nước lọt Top 10 cho thấy xu hướng phát triển mô hình ngôn ngữ lớn hiện nay của Việt Nam. Các mô hình được cải tiến liên tục với điểm số không ngừng gia tăng cho thấy nỗ lực đáng ghi nhận trong việc bản địa hóa LLM cho người Việt.
Ra mắt vào tháng 11/2023, nền tảng đánh giá năng lực tiếng Việt cho LLM – VMLU đã cung cấp bộ dữ liệu (dataset) & tiêu chuẩn kiểm tra toàn diện, gồm: 10.880 câu hỏi trắc nghiệm, thuộc 58 chủ đề, bao quát 4 lĩnh vực là STEM (khoa học, công nghệ, kỹ thuật và toán học), khoa học xã hội, khoa học nhân văn và mở rộng. Mức độ khó của các câu hỏi tăng dần theo 4 cấp độ: tiểu học, trung học cơ sở, trung học phổ thông và chuyên nghiệp (bậc đại học & sau đại học).
VMLU là một dự án đóng góp cho cộng đồng mà Zalo AI mong muốn thúc đẩy nhằm tạo động lực cho các đơn vị nâng cao trình độ huấn luyện LLM, cũng như cho ra đời các sản phẩm AI đa dạng, phục vụ nhu cầu thực tiễn của cuộc sống.
