Mô hình ngôn ngữ lớn là gì?
Mô hình ngôn ngữ lớn (LLM) là một loại mô hình học sâu với quy mô rất lớn, được đào tạo trước đó dựa trên lượng dữ liệu khổng lồ. Bao gồm bộ mã hóa và bộ giải mã, chúng có khả năng trích ý nghĩa và hiểu mối quan hệ giữa từ và cụm từ trong văn bản.
Bộ chuyển hóa LLM học không giám sát, giúp hiểu về ngữ pháp và kiến thức cơ bản. Khác với RNN trước đó, chúng xử lý song song toàn bộ trình tự, giảm thời gian đào tạo. Kiến trúc mạng nơ-ron cho phép sử dụng mô hình rất lớn với hàng trăm tỷ tham số, học từ lượng dữ liệu khổng lồ như Common Crawl và Wikipedia.
Nỗ lực phát triển mô hình ngôn ngữ lớn tiếng Việt
Mô hình ngôn ngữ lớn tiếng Việt sẽ đóng vai trò quan trọng trong việc thúc đẩy sự phát triển của các trợ lý ảo tại Việt Nam, đồng thời nâng cao khả năng lưu trữ và tận dụng giá trị từ dữ liệu của cộng đồng người Việt.
Sự tiến bộ trong lĩnh vực trí tuệ nhân tạo và mô hình ngôn ngữ lớn tiếng Việt sẽ đưa ra những cơ hội đáng kể cho chuyển đổi số, đặc biệt là trong việc tăng cường năng suất lao động trên nhiều lĩnh vực và ngành nghề.
Các mô hình ngôn ngữ lớn tiếng Việt sẽ đóng góp quan trọng vào việc cải thiện chất lượng dịch máy, nhận dạng giọng nói, giải đáp câu hỏi, và tóm tắt văn bản bằng tiếng Việt, mang lại sự chính xác và hiệu quả hơn cho các ứng dụng công nghệ ngôn ngữ.
PhởGPT và Zalo AI: Đánh dấu sự xuất hiện mới của ngôn ngữ lớn tiếng Việt
Trước những thách thức và khó khăn, nhiều doanh nghiệp trong nước đang tích cực phát triển mô hình ngôn ngữ lớn tiếng Việt, không chỉ để đối mặt với làn sóng công nghệ mới mà còn để đáp ứng nhu cầu ngày càng cao của người dùng Việt Nam. PhởGPT và Zalo AI hiện đang là những biểu tượng đặc sắc, đánh dấu sự xuất hiện mới của ngôn ngữ tiếng Việt trong lĩnh vực công nghệ, mở ra một thời đại mới đầy tiềm năng và đổi mới.
Mô hình ngôn ngữ lớn tiếng Việt PhởGPT- Làm chủ công nghệ
Tại Ngày Trí tuệ nhân tạo 2023, VinAI đã công bố dự án nghiên cứu mã nguồn mở về mô hình ngôn ngữ lớn tiếng Việt với tên gọi là PhởGPT. Dự án này hướng đến mục tiêu phát triển các mô hình tương tự như ChatGPT nhưng được tối ưu hóa cho tiếng Việt và phản ánh đặc trưng văn hóa của người Việt. Điều này thể hiện cam kết của VinAI trong việc đưa công nghệ tiên tiến về ngôn ngữ về gần hơn với cộng đồng người sử dụng, tạo ra những trải nghiệm tương tác mạnh mẽ và phong phú.
Mô hình ngôn ngữ lớn tiếng Việt PhởGPT không chỉ có khả năng hiểu và viết văn phong tiếng Việt mà còn được đào tạo từ đầu với tập dữ liệu chủ yếu là tiếng Việt, không phụ thuộc vào các mô hình ngôn ngữ khác trên thế giới. Điều này đảm bảo rằng mô hình này được tối ưu hóa để hiểu sâu và tương tác một cách tự nhiên trong ngữ cảnh văn hóa và ngôn ngữ của người Việt.
Không chỉ dừng lại ở việc phục vụ người dùng Việt Nam, đội ngũ nghiên cứu của PhởGPT còn đặt ra mục tiêu cải thiện mô hình và mở rộng áp dụng sang các ngôn ngữ khác. Điều này làm tăng tính linh hoạt và sự ứng dụng toàn cầu của mô hình, đồng thời thể hiện cam kết của họ đối với sự đa dạng và tiện ích của công nghệ ngôn ngữ trong cộng đồng quốc tế.
Lưu trữ và phát huy giá trị dữ liệu của người Việt
Đến cuối tháng 12/2023, Công ty VinBigdata, thành viên của Tập đoàn Vingroup, đã chính thức ra mắt ứng dụng ViGPT – một phiên bản của ChatGPT được xây dựng dựa trên mô hình ngôn ngữ lớn tiếng Việt do chính VinBigdata phát triển.
ViGPT tích hợp hơn 600GB dữ liệu tiếng Việt, được tinh chỉnh từ nhiều lĩnh vực khác nhau. Điểm độc đáo và lợi thế nổi bật của ViGPT so với các ứng dụng khác là khả năng cung cấp thông tin chính xác và chi tiết trong các lĩnh vực đặc thù của Việt Nam như pháp luật, lịch sử, văn hóa, danh nhân, danh lam thắng cảnh, và đặc trưng vùng miền. ViGPT hứa hẹn mang đến trải nghiệm tương tác thông minh và đồng thời giúp người dùng hiểu rõ hơn về bản sắc và đa dạng của đất nước Việt Nam.
GS. Vũ Hà Văn, Giám đốc Khoa học của VinBigdata, trong cuộc chia sẻ về sự ra đời của ViGPT, đã nhấn mạnh rằng việc giới thiệu “ChatGPT phiên bản Việt” đánh dấu một bước quan trọng trong việc làm chủ công nghệ của Việt Nam.
Theo GS. Vũ Hà Văn, ViGPT không chỉ là một thành tựu trong lĩnh vực trí tuệ nhân tạo mà còn là sự kiện quan trọng, đánh bại rào cản ngôn ngữ và văn hóa, mang lại cho người Việt một ứng dụng trí tuệ nhân tạo tiếng Việt mạnh mẽ.
Ông cũng chia sẻ rằng sự thành công của ViGPT chứng tỏ sức mạnh nghiên cứu và phát triển công nghệ trong cộng đồng, đồng thời làm nổi bật tầm vóc toàn cầu của Việt Nam trong lĩnh vực trí tuệ nhân tạo và ngôn ngữ tự nhiên.
GS. Vũ Hà Văn đã chia sẻ thêm rằng, thông qua việc làm chủ công nghệ, Việt Nam có thể tự chủ trong việc khai thác và bảo vệ an ninh dữ liệu quốc gia, cũng như giữ gìn hệ tri thức và tư tưởng mang đậm bản sắc Việt Nam.
Hướng đi này không chỉ giúp Việt Nam tự do khỏi sự phụ thuộc vào các sản phẩm công nghệ quốc tế mà còn tạo điều kiện cho việc nâng cao tính chính xác của thông tin, đặc biệt là thông tin có giá trị lịch sử và văn hóa Việt. Đồng thời, cũng giúp giảm thiểu dòng chảy dữ liệu ra nước ngoài, từ đó bảo vệ và tăng cường chủ quyền về thông tin của Việt Nam.
Zalo AI đỉnh cao công nghệ ngôn ngữ lớn tiếng Việt
Tại sự kiện thường niên Diễn đàn Trí tuệ Nhân tạo do Zalo AI Summit tổ chức, Zalo vừa trình làng một mô hình ngôn ngữ lớn tiếng Việt, một thành tựu đáng chú ý từ đội ngũ phát triển của Zalo AI.
Mô hình ngôn ngữ lớn tiếng Việt của Zalo AI sử dụng kiến trúc Transformer và đã được huấn luyện bằng các kỹ thuật tiên tiến như Flash Attention và Llama, với tập dữ liệu hướng dẫn chất lượng cao. Mục tiêu của mô hình này tập trung vào việc xử lý đa nhiệm, bao gồm các nhiệm vụ như dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin từ văn bản và trả lời câu hỏi. Trước đó, mô hình ngôn ngữ lớn “LLM Make in Viet Nam” của Zalo AI đã được thử nghiệm thành công trong việc tạo ra hàng triệu bài thơ nhân dịp các sự kiện như Ngày Quốc tế Phụ nữ và Ngày Phụ nữ Việt Nam.
Zalo đang trong quá trình phát triển mô hình ngôn ngữ lớn tiếng Việt trên nhiều kích cỡ khác nhau, từ 1 tỷ đến 30 tỷ tham số. Phiên bản chatbot Kiki, được trình bày tại sự kiện Zalo AI Summit, đã được huấn luyện trên một mô hình với 7 tỷ tham số.
Theo thông tin từ đội ngũ phát triển, Zalo đặt kế hoạch tiếp tục cải tiến mô hình ngôn ngữ lớn của mình trước khi tung ra sử dụng cho người dùng. Ngoài ra, Zalo cũng định hình mô hình ngôn ngữ này như một nền tảng cho nhiều ứng dụng hữu ích, bao gồm chatbot, chăm sóc khách hàng, và sáng tạo nội dung. Điều này cho thấy cam kết của Zalo trong việc không ngừng nâng cao và ứng dụng công nghệ ngôn ngữ để cung cấp trải nghiệm tốt nhất cho người dùng và doanh nghiệp.
Theo Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các mô hình ngôn ngữ lớn (VMLU, dự án hợp tác giữa Zalo AI và Viện khoa học Công nghệ Tiên tiến Nhật Bản JAIST), mô hình của Zalo đã đạt vị trí thứ hai trong hầu hết các tiêu chí đánh giá, chỉ sau GPT-4. Đây là một thành tựu ấn tượng, đặc biệt là khi xem xét thời gian huấn luyện không lâu của mô hình này.
Kết quả này thể hiện sự tiến bộ và chất lượng của mô hình ngôn ngữ lớn tiếng Việt, chứng minh khả năng của cộng đồng nghiên cứu và phát triển trong lĩnh vực trí tuệ nhân tạo tại Việt Nam. Sự xuất hiện của các mô hình này cũng là minh chứng cho khả năng của người Việt Nam trong việc phát triển các mô hình AI phức tạp, đồng thời thể hiện sự đủ sức cạnh tranh và tiến bộ cùng thế giới trong lĩnh vực công nghệ.
