RTX 3090 Tăng Tốc 4.6 Lần Token Với Qwen 27B

Sở hữu băng thông bộ nhớ lên tới 936,2 GB/s, NVIDIA GeForce RTX 3090 24GB từ lâu đã là con cưng của cộng đồng nghiên cứu AI và chạy mô hình LLM cục bộ nhờ mức giá thứ cấp dễ tiếp cận. Mới đây, một nhà phát triển có tên u/iamMess trên Reddit đã tạo nên một cơn sốt phần mềm khi tối ưu hóa inference engine, giúp RTX 3090 đẩy tốc độ sinh token của mô hình Qwen3.8-27B từ 82 tok/s lên mức khó tin 382 tok/s – tăng trưởng gấp 4,6 lần mà không làm suy giảm độ chính xác của mô hình. Cùng Sicomp phân tích bản chất và ý nghĩa thực tế của bước tiến này.

I. VÌ SAO GPU KHỦNG VẪN SINH TOKEN CHẬM?

Để hiểu được giá trị của mức tăng tốc 4,6 lần, trước hết cần nhìn vào bản chất vận hành của các mô hình LLM. Quá trình sinh văn bản diễn ra theo nguyên lý tự hồi quy: mô hình sinh từng token một, và mỗi token tiếp theo phụ thuộc hoàn toàn vào chuỗi token đứng trước nó.

Mỗi khi tạo ra một từ đơn lẻ, GPU bắt buộc phải nạp lại toàn bộ tệp trọng số khổng lồ của mô hình 27 tỷ tham số từ bộ nhớ VRAM sang nhân xử lý tính toán. Chính độ trễ rút dữ liệu liên tục này – chứ không phải năng lực tính toán thuần của nhân CUDA/Tensor – mới là điểm nghẽn cổ chai lớn nhất. Hệ quả là phần lớn thời gian chu kỳ của GPU rơi vào trạng thái nhàn rỗi để chờ dữ liệu được chuyển qua bus bộ nhớ.

II. GIẢI MÃ SUY ĐOÁN: CHÌA KHÓA BỨT PHÁ TỐC ĐỘ

Để giải quyết điểm nghẽn trên, nhà phát triển đã áp dụng kỹ thuật Speculative Decoding. Thay vì để mô hình chính nặng nề tự suy luận từng từ một, hệ thống triển khai một cơ chế dự đoán nhanh để đoán trước một chuỗi nhiều token kế tiếp. Sau đó, mô hình chính Qwen3.8-27B chỉ cần thực hiện duy nhất một lượt kiểm tra để duyệt toàn bộ chuỗi suy đoán đó, giữ lại các từ đúng và loại bỏ các từ sai.

III. TỪ MTP NỘI BỘ, DFLASH2 ĐẾN LOOKUP DRAFTER

Tốc độ sinh token của hệ thống được nâng cấp tuần tự qua từng bước tối ưu chuyên sâu:

• Tầng 1 – Kích hoạt Multi-Token Prediction: Tận dụng tính năng MTP tích hợp sẵn trong cấu trúc của Qwen3.8-27B giúp mô hình tự suy đoán trước một vài token tiếp theo của chính nó, đưa tốc độ từ mức mặc định 82 tok/s lên 114 tok/s.
• Tầng 2 – Kết hợp phương pháp DFlash2: Bổ sung thêm cơ chế dự đoán đề xuất một cụm 7 token cùng lúc, đẩy tốc độ phản hồi tăng thêm một nấc.
• Tầng 3 – Thuật toán Lookup Drafter: Hệ thống quét nhanh văn bản ngữ cảnh trong cuộc hội thoại để tìm các mẫu câu tương đồng với từ vừa viết. Cơ chế này tăng tốc độ lên 138 tok/s.
• Tầng 4 – Mở rộng cửa sổ kiểm tra lên 16 token: Bằng cách tận dụng các slot trống thông qua Lookup Drafter, công cụ suy luận có thể xác thực tới 16 token trong một bước. Trong các tác vụ trích dẫn tài liệu văn bản dài, có tới 15/16 suy đoán được mô hình chính chấp thuận, đẩy tốc độ đạt đỉnh kỷ lục 382 tok/s!

IV. NHỮNG ĐÁNH ĐỔI THỰC TẾ: BỘ NHỚ NGỮ CẢNH VÀ BÀI TOÁN RAG

Bên cạnh tốc độ ấn tượng, nhà phát triển cũng mở rộng cửa sổ ngữ cảnh lên tới 138.696 token nhờ định dạng lưu trữ bộ nhớ đệm gọn gàng hơn. Tuy nhiên, giải pháp này không phải là "phép thuật" miễn phí mà đi kèm những sự đánh đổi kỹ thuật rõ ràng:

• Tăng thời gian đọc tài liệu ban đầu: Định dạng nén bộ nhớ làm tăng gấp đôi thời gian nạp và xử lý tài liệu ở bước đầu tiên. Do đó, phương pháp này cực kỳ lý tưởng cho các bài toán RAG (Retrieval-Augmented Generation) – nơi người dùng nạp một tệp tài liệu lớn một lần duy nhất rồi liên tục đặt câu hỏi truy vấn.
• Chiếm dụng tài nguyên ngữ cảnh: Bước kiểm tra 16 token tiêu tốn một nửa số slot yêu cầu và chiếm khoảng 8.000 token của cửa sổ ngữ cảnh.
• Tốc độ hội thoại thông thường: Với các cuộc trò chuyện thường nhật không có nhiều văn bản lặp lại, tốc độ duy trì ở mức khoảng 133 tok/s. Dù không chạm mốc 382 tok/s như khi đọc tài liệu, đây vẫn là mức cải thiện vượt bậc so với con số 82 tok/s nguyên bản.

V. GÓC NHÌN TỪ SICOMP: RTX 3090 24GB VẪN VUA P/P CHO LOCAL AI

Dù các dữ liệu trên là thử nghiệm độc lập từ cộng đồng mã nguồn mở và cần thêm thời gian để hoàn thiện trên các công cụ phổ biến như vLLM hay Ollama, thử nghiệm này chứng minh tiềm năng phần cứng của thế hệ kiến trúc Ampere vẫn còn rất lớn.

Với mức dung lượng 24GB VRAM chuẩn GDDR6X, RTX 3090 tiếp tục là sự lựa chọn kinh tế nhất cho các bạn sinh viên, kỹ sư dữ liệu và doanh nghiệp vừa và nhỏ muốn xây dựng trạm tính toán AI cục bộ để chạy các mô hình 14B đến 32B mà không phải bỏ ra hàng trăm triệu đồng cho các dòng card thế hệ mới.

Tại Sicomp, chúng tôi cung cấp đa dạng các cấu hình PC AI tối ưu VRAM, các dàn máy trạm đồ họa Workstation chạy đa GPU ổn định 24/7 và PC Gaming cao cấp với chi phí hợp lý nhất thị trường.