Một năm sau khi OpenAI có thể đạt được một bước nhảy vọt với mô hình GTP-3 thì mới đây Học viện Trí tuệ Nhân tạo Bắc Kinh đã giới thiệu siêu AI mới Wu Dao. Mô hình ngôn ngữ lớn nhất cho đến thời điểm hiện tại. Wu Dao được tạo nên với 1,75 nghìn tỷ thông số cấu thành. Nó đã vượt qua kỷ lục được tạo ra trước đó của GPT-3 , OpenAI, cao hơn GPT- 3 gấp 10 lần.
Với những công nghệ hiện đại, Wu Dao đi kèm rất nhiều khả năng đặc biệt. Wu Dao có thể xử lý ngôn ngữ tạo văn bản, nhận dạng hình ảnh và tạo hình ảnh. Thậm chí có thể dự đoán cấu trúc 3D của protein. Bên cạnh đó có thể xử lý các tạc vu phức tạp, điều mà GPT- 3 còn đang gặp khó khăn. Những điều này đặt ra những thách thức mới trong thị trường AI của Châu Âu.
Mục lục
Thông tin về GPT-3
Tháng 5/2020, GPT-3 là viết tắt của Generative Pre-training Transformer 3 được Open AI – phòng nghiên cứu có trụ sở tại San Francisco do tỷ phú Elon Musk, Peter Thiel và công ty Microsoft sáng lập – Trình làng và được giới thiệu là bước tiến trọng và hữu ích trong lĩnh vực AI trong nhiều năm qua. Và khẳng định đây là AI thông minh nhất từ trước đến nay.
Khi ra mắt, GPT-3 cũng là mô hình đào tạo AI có quy mô lớn nhất với 175 tỷ tham số cấu thành. Điều này giúp “siêu AI” đạt được hiệu suất tuyệt vời trong nhiều tác vụ xử lý ngôn ngữ tự nhiên (NLP).
Nếu bạn yêu cầu nó thực hiện một nhiệm vụ chẳng hạn như sản xuất âm nhạc, tự học và viết văn, sáng tác thơ. Và GPT-3 hoàn toàn có thể làm được những điều một cách chuyên nghiệp có thể ngoài sự mong đợi của bạn. Cho đến nay, hơn 300 ứng dụng đang sử dụng GPT-3 trên nhiều lĩnh vực và ngành khác nhau. Từ giáo dục đến sáng tạo, và nhiều ngành nghề khác. Các ứng dụng này sử dụng một loạt các khả năng đa dạng của GPT-3.
Tuy nhiên, bất chấp quy mô và sức mạnh to lớn, những “siêu AI” như GPT-3 vẫn thiếu các khả năng nhận thức linh hoạt. Thực tế, các mô hình như GPT-3 chỉ có thể “học” được những thứ đơn giản. Khó thực hiện các nhiệm vụ lý luận phức tạp. Như đối thoại mở, hỏi đáp dựa trên kiến thức, lý luận trực quan… hoặc nhiều tác vụ đồng thời.
Wu Dao phiên bản 1.0 – Khắc phục những hạn chế của GPT-3
Để giải quyết vấn đề này, các nhà nghiên cứu tại Học viện Trí tuệ nhân tạo Bắc Kinh (BAAI) bắt đầu nghĩ đến AI có thể tự động thực hiện mọi thứ như con người. Wu Dao (Ngộ Đạo) phiên bản 1.0 ra đời. Công trình là kết quả đóng góp của BAAI cùng hơn 100 nhà khoa học AI khác. Từ đại học Bắc Kinh, Thanh Hoa, Renmin, học viện Khoa học Trung Quốc và nhiều học viện khác. Wu Dao 1.0 được giới thiệu chính thức hồi tháng 3 và đã khởi xướng các dự án nghiên cứu quy mô lớn ở các lĩnh vực khác nhau thông qua bốn mô hình: Wu Dao – Wen Yuan, Wu Dao – Wen Lan, Wu Dao – Wen Hui và Wu Dao – Wen Su.
Wu Dao – Wen Yuan
Trong đó, Wu Dao – Wen Yuan là mô hình tiền đào tạo ngôn ngữ lớn nhất từ trước đến nay của Trung Quốc. Với khả năng xử lý tốt nhất trong các ngôn ngữ chính thống, bao gồm tiếng Trung và tiếng Anh. AI này có thể đạt hiệu suất phân loại văn bản, phân tích tình cảm. Cả suy luận ngôn ngữ tự nhiên và đọc hiểu… tương đương một người bình thường. Với 2,6 tỷ tham số, Wen Yuan có thể đạt hiệu suất như GPT-3 trong các hoạt động nhận thức. Như ghi nhớ, hiểu, truy xuất, tính toán số, đa ngôn ngữ.
Wu Dao – Wen Lan
Wu Dao – Wen Lan là mô hình đào AI chuyên về đồ họa đa phương tiện. Chúng tự học tập và phân tích dựa trên sự kết hợp của đồ họa, văn bản và video. Sau đó tạo ra các mô hình và ứng dụng đồ họa cấp công nghiệp của Trung Quốc. Hiện mô hình này có hơn 1 tỷ tham số. Được đào tạo trên 50 triệu dữ liệu đồ họa thu thập từ các nguồn mở.
Wu Dao – Wen Hui
Wu Dao – Wen Hui là mô hình AI định hướng nhận thức quy mô cực lớn. Tập trung vào một loạt vấn đề thiết yếu trong lĩnh vực AI nói chung. Mục tiêu của hệ thống này là phát triển và nâng cao nhận thức dựa trên logic. Cả ý thức và khả năng lý luận của các mô hình AI cũ hơn. Wen Hui đã đạt 11,3 tỷ tham số. Hiện nó đã có khả năng tự sáng tác thơ, tạo video, vẽ hình, truy xuất văn bản và thực hiện các bài luận phức tạp. BAAI cho biết mô hình này đạt hiệu suất gần bằng con người ở khả năng tự sáng tác thơ.
Wu Dao – Wen Su
Cuối cùng, Wu Dao – Wen Su là mô hình AI quy mô lớn về dự đoán cấu trúc phân tử sinh học. AI này có thể xử lý các cấu trúc phân tử sinh học siêu dài với hiệu suất cực nhanh. Wen Su đã hoàn thành khóa học về protein dựa trên cơ sở dữ liệu UNIPARC 100 GB. Được đào tạo về dữ liệu gen trên 5 đến 100.000 tế bào miễn dịch của con người (25 – 30 loại tế bào) và 10.000 vi khuẩn kháng thuốc.
Ra mắt Wu Dao 2.0 sở hữu những tính năng vượt trội
Ba tháng sau khi Wu Dao 1.0 ra đời, BAAI cho ra phiên bản 2.0 thông minh hơn hẳn. Với lượng tham số khổng lồ, các nhà khoa học cần phải chuẩn bị một lượng lớn dữ liệu cho Wu Dao 2.0 học. Do cơ sở dữ liệu đào tạo AI hiện có trên thị trường chưa đủ, BAAI phải tìm cách mới.
BAAI sau đó đã phát triển một hệ thống học tập mã nguồn mở có tên FastMoE. Tương tự Mixture of Experts của Google. Hệ thống này có thể hoạt động trên PyTorch. Cho phép một mô hình AI được đào tạo cả trên các cụm siêu máy tính lẫn GPU thông thường. Cũng như không yêu cầu phần cứng độc quyền.
Kết quả là nhóm nghiên cứu đã tạo nên một Wu Dao vượt trội so với hầu hết AI hiện tại. Không giống các mô hình deep learning khác chỉ thực hiện một tác vụ duy nhất trong một thời điểm. Chẳng hạn viết văn bản, tạo ảnh deepfake, nhận diện khuôn mặt hay đánh cờ vây…, Wu Dao là mô hình đa phương thức. Trong đó, nó có thể vừa tạo văn bản, xử lý hình ảnh. Vừa xử lý và tương tác với người thật bằng ngôn ngữ tự nhiên.
Theo thí nghiệm của BAAI, Wu Dao 2.0 đã có thể viết các bài luận, thơ. Và câu đối bằng tiếng Trung theo ngôn ngữ tự nhiên. Tự viết và tạo các văn bản thay thế trên ảnh. Thậm chí tự tạo một bức ảnh dựa trên mô tả của một người nào đó bằng ngôn ngữ tự nhiên.
“So với GPT-3, WuDao thông minh hơn, có thể hiểu và tạo ra hình ảnh cũng như các định dạng nội dung khác”, Tang Jie, giáo sư Đại học Thanh Hoa, cho biết. “Wudao 2.0 giúp người máy suy nghĩ như con người. Thúc đẩy hình thành một hệ sinh thái thông minh và tự học hỏi”.
Hua Zhibing – Cô sinh viên ảo đầu tiên của Trung Quốc
Hôm 6/6, BAAI đã phát hành người ảo mang tên Hua Zhibing. “Cô gái” này vừa nhập học để trở thành sinh viên của khoa Khoa học máy tính và công nghệ của Đại học Thanh Hoa, Bắc Kinh, hôm 3/6. Trong đoạn video ngắn, một “cô gái” có ngoại hình xinh xắn và giọng nói truyền cảm. Cô tự giới thiệu bản thân thích hội họa, thư pháp. Có thể sáng tác thơ và nhạc, đồng thời có một số khả năng về lý luận và tương tác cảm xúc. Zhibing chính là “sinh viên ảo” đầu tiên tại Trung Quốc nhập học một trường Đại học danh tiếng.
Theo BAAI, Zhibing là kết quả đầu tiên trong việc ứng dụng Wu Dao 2.0 được công khai. Zhibing có hàng loạt ưu điểm mà những “người ảo” khác không có. Như sử dụng đa ngôn ngữ, bao gồm tiếng Anh và tiếng Trung. Được tích hợp hệ thống đa ngữ cảnh cho phép vận dụng AI linh hoạt. Giảm chi phí đào tạo AI và nhiều vấn đề liên quan đến kỹ thuật khác.
Tiến sĩ Zhang Hongjiang, chủ tịch BAAI, nhấn mạnh, Wu Dao sẽ liên tục được nâng cấp. “Những gì chúng tôi đang xây dựng sẽ là tương lai của AI, nơi chúng có khả năng khai thác dữ liệu khổng lồ, sức mạnh tính toán lớn và linh hoạt. Đây sẽ là tiền đề cho các ứng dụng AI thực tiễn thời gian tới”, Hongjiang nói.
Còn rất nhiều tin tức về công nghệ sẽ được chúng tôi cập nhật thường xuyên, bạn nhớ đón đọc nhé.