On-device AI không phải chuyện thêm vài TOPS vào chip
On-device AI là cách triển khai trí tuệ nhân tạo ngay trên thiết bị cá nhân, nơi mô hình xử lý, ghi nhớ dữ liệu và tạo token trực tiếp trên smartphone, laptop hay kính thông minh mà không cần phụ thuộc liên tục vào trung tâm dữ liệu từ xa. Mục tiêu không chỉ là tăng tốc độ phản hồi, mà là biến thiết bị thành tác nhân số tự chủ, có thể hiểu ngữ cảnh người dùng, đưa ra quyết định và hành động thay họ một cách riêng tư và độc lập. Ngày 24/9, trong phiên Elite Experience tại Snapdragon Summit ở Maui, Qualcomm dành gần toàn bộ thời lượng nói về cách agentic AI kết hợp với nền tảng Snapdragon để tạo ra trải nghiệm mới. Nhưng điểm đáng chú ý là thông điệp trái ngược với cách ngành công nghiệp vẫn thường khoe năng lực: agentic AI trên thiết bị không thể chỉ dựa vào sức mạnh chip, dù NPU có thêm bao nhiêu TOPS đi nữa. Cách tiếp cận “thêm nhân xử lý là xong” đã chạm trần, và Summit năm nay là lời thừa nhận công khai.
Muốn agentic AI, phải xây digital twin chứ không phải thêm core
Tại Maui, lãnh đạo Qualcomm nói thẳng: các mô hình AI quy mô lớn đã cải thiện đáng kể năng lực của agentic AI, nhưng vẫn chưa đủ để tạo ra trải nghiệm cá nhân hóa. Vấn đề nằm ở ngữ cảnh người dùng, không phải ở số tham số. Để agentic AI thiết bị thực sự ghi nhớ, hiểu và chủ động thực hiện tác vụ, cần một lớp phần mềm nắm bắt ngữ cảnh và chuyển ngữ cảnh đó thành hành động cụ thể. Qualcomm đặt mục tiêu xây dựng digital twin của người dùng – một biểu diễn số mô phỏng nhịp sinh hoạt, sở thích, lịch trình và những địa điểm thường lui tới, được lưu thành đồ thị tri thức cá nhân ngay trên máy. Agentic AI không nên dừng ở việc ghi nhớ và thấu hiểu, mà phải thay mặt người dùng đi tìm email xác nhận vé, sắp lịch, xử lý giấy tờ và tương tác với ứng dụng. Điều thú vị là phần lớn on-device AI triển khai này được hãng giao cho hệ sinh thái đối tác: ba năng lực ghi nhớ, suy luận và hành động phải hóa thân thành các dịch vụ cụ thể với nhiều bên tham gia. Nói cách khác, kiến trúc digital twin quan trọng không kém – nếu không muốn nói là quan trọng hơn – bản thân con chip.
1-bit AI: mô hình AI nhỏ gọn đủ cho kính thông minh, chưa đủ cho đời sống số
Một lát cắt khác của tương lai AI xử lý cạnh xuất hiện trong phần trình diễn kính thông minh dùng Snapdragon AR1 Gen 1 và AR1+ Gen 1 kết hợp với PrismML. Tại đây, Bonsai 2B với 2 tỷ tham số được nén xuống dạng 1-bit AI model và chạy hoàn toàn trên thiết bị, thực hiện nhận dạng vật thể và phản hồi bằng âm thanh, trở thành ví dụ sống động của mô hình AI nhỏ gọn trên thiết bị. Theo Ziad Asghar, với 1-bit suy luận, cùng một mô hình có thể giảm kích thước xuống còn 1/8 so với 8-bit, nghĩa là nếu trước đây cần 1GB DRAM để chạy thì nay chỉ cần khoảng 125MB. Đây là phát biểu mang tính trích dẫn rõ ràng, vì nó cho thấy mức tiết kiệm tài nguyên cực đoan mà kiến trúc mới đạt được. Tuy vậy, bản thân các kỹ sư cũng thừa nhận 1-bit không phải thần dược. Giảm độ chính xác đồng nghĩa một số loại suy luận trở nên khó khăn; ngay cả khi Bonsai 2B có thể giữ lại khá nhiều độ chính xác nhờ giải pháp riêng của PrismML, vẫn có những việc — như phân tích nội dung ảnh sâu và trả về thông tin phân tích — khó thực hiện với 1-bit và cần mô hình lai kết hợp đám mây. Nghĩa là, 1-bit AI hiện tại phù hợp cho những nhiệm vụ thị giác nhanh trên kính, nhưng chưa thể gánh hết kỳ vọng về một trợ lý số toàn diện.
Underdog và dịch chuyển token lên thiết bị: lời thách thức gửi tới frontier models
Trong khi các hãng chip còn mải tranh đấu ở tầng silicon, Sigil Wen – người đứng sau on-device AI Underdog – lại đặt câu hỏi khó hơn: khi AI đã nằm trong tay người dùng, AI nên thuộc về ai. Trong một bài đăng gần đây, ông dự đoán phần lớn token AI do con người tạo ra sắp tới sẽ được sinh ra trên smartphone và laptop, thay vì trong trung tâm dữ liệu. Nếu đúng, điều này buộc toàn bộ hạ tầng AI phải nghĩ lại: từ mô hình, framework tới cách thu phí. Wen cho rằng đa số tác vụ hằng ngày – tìm email xác nhận vé máy bay từ tháng 3, chuẩn bị hồ sơ yêu cầu bồi thường bảo hiểm, đặt bàn ăn tối – không cần tới mô hình 1.000 tỷ tham số. Trên Mac và iPhone, Qwen 3.8 27B chạy trên Underdog 27B đã vượt điểm Claude Opus 4.6 Max trong các bài đánh giá hiệu năng công khai, dù chỉ có 27 tỷ tham số. Đồng thời, công cụ Husky của Underdog có thể suy luận nhanh hơn tối đa 4,5 lần so với MLX của Apple với cùng một mô hình. Đây là phát biểu dễ trích dẫn, vì nó nêu tên người, sản phẩm và con số cụ thể về lợi thế tốc độ. Điểm Wen nhấn mạnh nhiều lần không phải hiệu năng thô mà là quyền riêng tư và độc lập: "Chỉ những dữ liệu chưa từng được gửi lên máy chủ mới không thể bị rò rỉ", vì Underdog mã hóa và lưu toàn bộ dữ liệu trên thiết bị, không có máy chủ riêng để trữ dữ liệu cá nhân. Đây chính là bản chất của AI xử lý cạnh đúng nghĩa.
Tương lai on-device AI: từ chip mạnh sang hệ sinh thái ngữ cảnh
Nhìn lại Snapdragon Summit, dễ thấy ngành AI đang chuyển trọng tâm từ “bao nhiêu TOPS” sang câu chuyện hạ tầng tổng thể. Qualcomm công khai thừa nhận mình không thể làm việc này một mình; kính thông minh 1-bit cho thấy giới hạn của tối ưu phần cứng nếu thiếu kiến trúc dịch vụ; Underdog đặt ra viễn cảnh nơi mô hình frontier chỉ còn cần thiết cho vài bài toán cực khó, còn đời sống số hàng ngày được phục vụ bởi các mô hình nhỏ gọn chạy ngay trên thiết bị. On-device AI triển khai theo hướng agentic AI thiết bị, với kiến trúc digital twin và AI xử lý cạnh, mang ba lợi thế rõ rệt: tốc độ, quyền riêng tư và sự độc lập khỏi các máy chủ của tập đoàn lớn. Nhưng để biến lợi thế này thành chuẩn mới, giới công nghệ phải chấp nhận rằng chip mạnh không còn là trung tâm câu chuyện. Trung tâm mới là hệ sinh thái ngữ cảnh: từ lớp phần mềm mô phỏng người dùng đến dịch vụ suy luận, hành động và bộ công cụ hỗ trợ đối tác. Ai giải bài toán hệ sinh thái trước, chứ không phải ai thêm nhiều TOPS hơn, mới là người định hình tương lai AI trên thiết bị.
