Zalo AI và Viện Khoa học & Công nghệ Tiên tiến Nhật Bản công bố bộ tiêu chuẩn VMLU 2025

Zalo AI và Viện Khoa học & Công nghệ Tiên tiến Nhật Bản (JAIST) chính thức giới thiệu phiên bản mới của VMLU (Vietnamese Multitask Language Understanding) - bộ tiêu chuẩn đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn (LLM).

Được giới thiệu lần đầu tiên vào năm 2023, VMLU đã trở thành bộ tiêu chuẩn “Make in Vietnam” tiên phong, tạo động lực cho nhiều nhóm nghiên cứu trong nước cải tiến chất lượng của LLM tiếng Việt. Theo thống kê, trong năm 2024, VMLU đã công bố 45 LLM trên bảng xếp hạng, tiếp nhận yêu cầu đánh giá của hơn 155 tổ chức & cá nhân, tổng kết 691 lượt tải bộ tiêu chuẩn đánh giá và 3.729 lượt đánh giá LLM từ nền tảng. Bộ tiêu chuẩn được nhiều tổ chức trong và ngoài nước sử dụng như VinBigData, VNPT AI, Viettel Solutions, Trường ĐH Bách Khoa – ĐHQG TP.HCM, UONLP x Ontocord – Trường ĐH Oregon (Hoa Kỳ), DAMO Academy – Alibaba Group, SDSRV teams – Samsung…    

Trong bối cảnh các mô hình AI ngày càng trở nên thông minh, phiên bản VMLU được nâng cấp để đánh giá sâu hơn những năng lực phức tạp. Cụ thể, bộ tiêu chuẩn mở rộng đánh giá 03 kỹ năng cốt lõi của một LLM hiện đại, bao gồm:

  1. Đọc hiểu (ViSQuAD): 3.310 câu hỏi đánh giá khả năng hiểu sâu văn bản, xử lý các câu hỏi phức tạp dựa trên đặc thù ngôn ngữ và ngữ cảnh tiếng Việt.
  2. Suy luận (ViDrop): 3.090 câu hỏi thách thức khả năng suy luận logic của LLM qua các tác vụ như so sánh, đếm, và tính toán số học.
  3. Tương tác (ViDialog): 210 hội thoại đánh giá sự mạch lạc, khả năng hiểu ngữ cảnh và vận dụng kiến thức đa lĩnh vực (lịch sử, địa lý, logic) trong đối thoại.
Zalo AI và Viện Khoa học & Công nghệ Tiên tiến Nhật Bản công bố bộ tiêu chuẩn VMLU 2025 - Bo tieu chuan VMLU 2025 02

Điểm nổi bật của bộ tiêu chuẩn mới là phương pháp đánh giá tiên tiến, kết hợp đa dạng hình thức từ trắc nghiệm, câu hỏi mở đến yêu cầu suy luận từng bước. Đặc biệt, VMLU áp dụng phương pháp “LLM as a judge” (dùng LLM để đánh giá LLM) – một xu hướng đang được cộng đồng AI toàn cầu áp dụng để có kết quả khách quan và quy mô hơn.

Với 10.880 câu hỏi trắc nghiệm, thuộc 58 chủ đề, được chia theo nhiều cấp độ, phiên bản 2023 đã tập trung vào đánh giá kiến thức nền tảng của LLM. Trong khi đó, bộ tiêu chuẩn mới tiến một bước xa hơn, đo lường khả năng suy luận và tương tác của LLM trong những ngữ cảnh thực tế. Sự nâng cấp này không chỉ giúp các nhà phát triển đánh giá mô hình toàn diện hơn mà còn thúc đẩy LLM tạo ra những giá trị hữu ích cho người dùng cuối.

Zalo AI và Viện Khoa học & Công nghệ Tiên tiến Nhật Bản công bố bộ tiêu chuẩn VMLU 2025 - Bo tieu chuan VMLU 2025 03

Hiện bộ tiêu chuẩn mới đã được ra mắt trên website VMLU https://vmlu.ai/ để các cá nhân, và nhóm nghiên cứu thực hiện đánh giá mô hình của mình.

Với sự hợp tác của các chuyên gia đầu ngành tại Zalo AI và Viện JAIST, VMLU sẽ tiếp tục nghiên cứu xây dựng các bộ tiêu chuẩn đánh giá đa dạng hơn về lĩnh vực cũng như độ khó. Trong tương lai, VMLU cũng hướng tới phát triển các bộ tiêu chuẩn đánh giá tính an toàn và trung thực, đảm bảo các mô hình LLM được phát triển một cách có trách nhiệm. 

Có thể bạn quan tâm
METALEX Vietnam 2025, điểm chạm trưởng thành của ngành cơ khí-chế tạo

METALEX Vietnam 2025 đang diễn ra – lần tổ chức thứ 18, đã tạo ra các định hướng phát triển mạnh mẽ ở ngành cơ khí – chế tạo Việt Nam.

Khai trương ba văn phòng mới tại TPHCM và Đà Nẵng, Việt Nam là trung tâm R&D lớn thứ 3 thế giới của Marvell

Tập đoàn Marvell Technology, Inc, doanh nghiệp lớn trên thế giới về các giải pháp vi mạch & bán dẫn phục vụ cơ sở hạ tầng dữ liệu, vừa chính thức khai trương ba văn phòng mới tại Việt Nam, với hơn 500 kỹ sư, đưa Việt Nam thành trung tâm R&D lớn thứ 3 trên thế giới của tập đoàn này.

Visa và FWD Việt Nam ký kết biên bản ghi nhớ hợp tác số hóa bảo hiểm

Visa và Công ty TNHH Bảo hiểm Nhân thọ FWD Việt Nam đãký kết Biên bản ghi nhớ hợp tác, nhằm tiên phong ứng dụng công nghệ để số hóa bảo hiểm và mang đến những giá trị thiết thực cho khách hàng.

Thuế TP.HCM và Viettel TP.HCM hợp tác triển khai hóa đơn điện tử cho các hộ kinh doanh trên địa bàn

Thuế TP.HCM và Viettel TP.HCM đã tổ chức Lễ ký kết Thỏa thuận hợp tác phối hợp hướng dẫn chính sách thuế – Hỗ trợ hộ kinh doanh chuyển đổi số, đánh dấu cột mốc quan trọng trong tiến trình triển khai hóa đơn điện tử cho toàn bộ hộ kinh doanh trên địa bàn TP.HCM.

Thẻ doanh nghiệp VPBiz Visa Platinum, dòng thẻ thiết kế riêng cho doanh nghiệp vừa và nhỏ

Visa cùng Ngân hàng TMCP Việt Nam Thịnh Vượng (VPBank) chính thức ra mắt Thẻ doanh nghiệp VPBiz Visa Platinum, với mục tiêu hỗ trợ các doanh nghiệp vừa và nhỏ (SME) nâng cao năng lực số hóa, chủ động về dòng tiền và đảm bảo an toàn thanh toán.

MISA nâng tầm nhân sự Coder thành Nhà kiến tạo giải pháp với GitHub Copilot

MISA, công ty phần mềm Việt Nam cung cấp đa dạng các giải pháp số về các lĩnh vực như tài chính, tiếp thị, nhân sự cho gần 400.000 khách hàng doanh nghiệp và 3,5 triệu khách hàng cá nhân, đã triển khai GitHub Copilot cho 450 lập trình viên.

Trung ương Hội Sinh viên Việt Nam và Grab Việt Nam hợp tác nâng cao kỹ năng chuyển đổi số cho thanh niên Việt Nam

Thoả thuận hợp tác trong 3 năm nhằm trang bị và nâng cao kỹ năng chuyển đổi số cho sinh viên và thanh niên Việt Nam qua các hoạt động thực tiễn, đáp ứng nhu cầu nguồn nhân lực của nền kinh tế số.

Cải thiện quy trình làm việc tuyến đầu bằng công nghệ hiện đại sẽ đạt lợi nhuận cao

Theo nghiên cứu “Tác động của Vận hành Thông minh” do tập đoàn Zebra Technologies cùng Oxford Economics thực hiện công bố, việc cải thiện quy trình làm việc tuyến đầu bằng các công nghệ hiện đại như trí tuệ nhân tạo (AI), tự động hóa và dữ liệu giúp gia tăng lợi nhuận và nâng cao trải nghiệm khách hàng.

Giải pháp miễn phí giúp tiểu thương, hộ kinh doanh bán hàng, xuất hoá đơn điện tử và kê khai thuế ngay trên điện thoại

Sapo vừa chính thức ra mắt phiên bản mới Sapo 6870 – giải pháp miễn phí giúp tiểu thương, hộ kinh doanh bán hàng, xuất hoá đơn điện tử và kê khai thuế ngay trên điện thoại. Ứng dụng được thiết kế đơn giản, tiết kiệm chi phí và đáp ứng đầy đủ quy định quản lý thuế trong giai đoạn mới.

Viettel TP.HCM và HEPZA ký kết hợp tác chiến lược chuyển đổi số, theo tiêu chuẩn kép “số và xanh”

Ngày 25/9/2025, Ban Quản lý các Khu chế xuất và công nghiệp TP.HCM (HEPZA) và Viettel TP.HCM ký kết hợp tác chiến lược nhằm đẩy mạnh chuyển đổi số trong công tác quản lý Nhà nước và hoạt động sản xuất – kinh doanh của doanh nghiệp, hướng tới xây dựng các KCN – KCX Thành phố theo mô hình xanh, thông minh và bền vững.