Máy tính Windows 11 trang bị GPU RTX tự nhiên được tăng tốc AI lên 5 lần, xử lý ngôn ngữ ngay trên thiết bị

Hơn 100 triệu PC Windows sẽ được hưởng lợi từ công nghệ tăng tốc AI của NVIDIA nhờ TensorRT-LLM dành cho GPU RTX.Gần đây NVIDIA đã tiết lộ rằng TensorRT-LLM đang được thêm vào Windows 11 và sẽ được kích hoạt cho hơn 100 triệu người dùng RTX khi nó ra mắt trong bộ driver mới nhất vào ngày 21 tháng 11. Thông báo này được đưa ra trong sự kiện Ignite của Microsoft, một sự kiện quan trọng thảo luận về tương lai của AI và cách nó sẽ biến đổi hệ sinh thái Windows.

NVIDIA TensorRT-LLM là gì?

NVIDIA TensorRT-LLM là thư viện mã nguồn mở giúp tăng tốc và tối ưu hóa hiệu suất suy luận của các mô hình ngôn ngữ lớn (LLM) mới nhất trên nền tảng NVIDIA AI. Nó cho phép các nhà phát triển thử nghiệm LLM mới, mang lại hiệu suất cao và tùy chỉnh nhanh chóng mà không cần kiến thức sâu về C++ hoặc CUDA.

Quan trọng hơn, nó sẽ được tích hợp vào Windows 11 và hỗ trợ cả người dùng phổ thông để tận dụng sức mạnh của GPU NVIDIA RTX chạy các tác vụ AI. Ví dụ như khi bạn sử dụng Stable Diffusion, Llama 2... thì quá trình xử lý sẽ được gửi lên đám mây rồi sau đó trả kết quả về lại cho bạn. Với NVIDIA TensorRT-LLM và một GPU RTX đủ mạnh, quá trình này được xử lý cục bộ ngay trên thiết bị cho kết quả nhanh chóng và chính xác.

Những thiết bị hỗ trợ NVIDIA TensorRT-LLM

NVIDIA đã xác nhận rằng khả năng tăng tốc TensorRT-LLM sẽ có sẵn cho tất cả máy tính để bàn lẫn laptop được trang bị GPU RTX với VRAM từ 8GB trở lên. Ngoài TensorRT-LLM, NVIDIA và Microsoft cũng đang mang đến những cải tiến DirectML để thúc đẩy các mô hình AI phổ biến như Stable Diffusion và Llama 2.

Điều đó có nghĩa là nếu bạn đang sử dụng một chiếc máy tính hoặc laptop AI bất kỳ được trang bị bộ xử lý đồ họa NVIDIA RTX 8GB trở lên sẽ nhận tính năng mới cho phép rút ngắn đáng kể thời gian xử lý các tác vụ AI.

Lợi ích của NVIDIA TensorRT

NVIDIA tuyên bố tăng hiệu suất gấp 5 lần với TensorRT-LLM v0.6.0 sẽ ra mắt vào cuối tháng này. Một bản cập nhật quan trọng khác sắp ra mắt cho OpenAIvới nhiều ứng dụng như trợ giúp về tài liệu, email, tóm tắt nội dung web, phân tích dữ liệu. Hiện tại, để xử lý những tác vụ này yêu cầu mọi người cần tải mọi dữ liệu đầu vào lên máy chủ, chờ đợi máy chủ xử lý và nhận kết quả trả về. Đối với các dữ liệu nhạy cảm hoặc với những dữ liệu đầu vào có dung lượng lớn thì điều này khá mất thời gian.Để giải quyết vấn đề này, NVIDIA và Microsoft sẽ cung cấp giao diện API cho ChatAPI của OpenAI thông qua một quy trình mới bổ sung khả năng tăng tốc TensorRT-LLM trên PC Windows giúp xử lý các yêu cầu mà không cần dựa vào đám mây. Các nhà phát triển công cụ AI như OpenAI cũng chỉ cần chỉnh sửa một chút là có thể hoạt động với quy trình mới này.

Quy trình này cũng sẽ hoạt động với hầu hết mọi LLM đã được tối ưu hóa cho TensorRT-LLM. Một số ví dụ về LLM được tối ưu hóa bao gồm Llama 2, Mistral, NV LLM) và nhiều ví dụ khác sẽ sớm được bổ sung.Điều này cho thấy NVIDIA muốn tăng tốc AI không chỉ cho doanh nghiệp mà còn cho cả người dùng phổ thông. Và rõ ràng NVIDIA đã có sự chuẩn bị cho điều này từ sớm vì những bộ xử lý đồ họa RTX đã được phát hành khá lâu nhưng đến hiện tại mới bắt đầu được tận dụng để chạy các tác vụ AI liên quan đến LLM. Việc NVIDIA cung cấp các tính năng tăng tốc AI và xử lý các tác vụ AI mạnh mẽ ngay trên máy tính cá nhân của người dùng cũng cho thấy tầm nhìn và tham vọng của công ty là lớn đến như thế nào. Với tất cả những gì NVIDIA đã làm và đang làm, có thể chắc chắn họ đang và sẽ tiếp tục là công ty công nghệ dẫn đầu về lĩnh vực AI.

NVIDIA x Microsoft: Nhiều điều đáng mong đợi

Cortana - trợ lý ảo của Microsoft không nhận được sự đón nhận của người dùng hay nói đúng hơn là nó đã bị hắt hủi bởi phần đông người dùng Windows. Tuy nhiên với sự kết hợp của NVIDIA và Microsoft thì chúng ta hoàn toàn có thể chờ đợi sự xuất hiện của một trợ lý ảo thông minh hơn, hữu ích hơn rất nhiều những gì chúng ta có thể tưởng tượng ra.

Hiện tại Microsoft đã mua lại OpenAI - công ty sở hữu công cụ chat GPT đã làm mưa làm gió cả thể giới trong một thời gian rất ngắn. Còn NVIDIA thì đang sở hữu những công nghệ phần cứng và giải pháp phần mềm tối ưu cho AI đồng thời những phần cứng của NVIDIA được sử dụng phổ biến bởi cả người dùng cuối lẫn các tập đoàn.

Việc Microsoft tận dụng được sức mạnh xử lý AI từ phần cứng và các giải pháp phần mềm của NVIDIA như TensorRT-LLM chắc chắn sẽ mang đến những bước tiến lớn về các tính năng AI trên Windows - hệ điều hành máy tính phổ biến nhất hiện nay.

Bên cạnh NVIDIA thì các nhà sản xuất khác cũng đang chạy đua với AI. Gần đây AMD cũng đã tham gia cuộc đua AI với hàng loạt các hệ thống xử lý AI chuyên dụng cho máy chủ. Đặc biệt AMD còn tích hợp cả nhân xử lý AI chuyên dụng lên dòng chip AMD Ryzen 7040 của mình. Intel cùng sẽ sớm làm điều tương tự. Trong khi đó Apple đang phát triển mô hình ngôn ngữ lớn (LLM) riêng và không sớm thì muộn cũng sẽ tích hợp vào Siri.

Với cuộc đua AI khốc liệt sắp tới, AI không còn là một cái gì đó mơ hồ, không rõ ràng như những mẫu quảng cáo điện thoại 'chụp đêm AI' như hiện tại nữa. Sắp tới những chiếc máy tính, điện thoại sẽ được tích hợp những công nghệ AI thực sự có thể tương tác và tạo ra sự đột phá trong trải nghiệm của người dùng.

Và có lẽ, tất cả những điều này sẽ đến trong vài năm tới chứ không cần phải chờ đợi quá lâu!

Xem thêm:

• Google Bard thừa nhận 'sợ' siêu AI của Elon Musk
• Bài viết chuyên mụcThị trường