Chạy AI offline là gì và vì sao đáng làm?
Chạy AI offline trên thiết bị cá nhân là cách cài đặt và vận hành mô hình ngôn ngữ ngay trên máy tính, VPS hoặc điện thoại, để mọi thao tác như tóm tắt, phân tích và hỏi đáp tài liệu đều diễn ra nội bộ mà không gửi dữ liệu lên bất kỳ dịch vụ đám mây hay máy chủ bên ngoài nào, giúp bạn tự kiểm soát bảo mật, hiệu suất và chi phí theo đúng nhu cầu của mình. Điều này phù hợp với người làm trong ngành có quy định chặt chẽ, xử lý tài liệu nhạy cảm hoặc đơn giản là không muốn phụ thuộc vào nền tảng bên thứ ba. Điều kiện tiên quyết là bạn phải chấp nhận đánh đổi: mô hình cục bộ thường nhỏ hơn, chậm hơn so với mô hình trên đám mây, nhưng đổi lại dữ liệu không bị rời khỏi thiết bị. Nếu bạn từng ngại gửi sao kê ngân hàng, hồ sơ y tế hay hợp đồng pháp lý lên chatbot, chạy AI offline chính là câu trả lời.
Lợi ích
- Dữ liệu luôn nằm trong môi trường của bạn, không đi qua máy chủ bên ngoài, giúp bảo vệ dữ liệu AI tốt hơn.
- Không phụ thuộc subscription nền tảng, có thể dùng mô hình mở miễn phí và tự tối ưu chi phí theo nhu cầu.
- Xây được trợ lý AI cá nhân hiểu rõ tài liệu, thói quen và hệ thống nội bộ của bạn.
Hạn chế
- Hiệu suất và tốc độ thấp hơn mô hình đám mây, đặc biệt khi thiết bị có RAM và GPU hạn chế.
- Cần kiến thức cơ bản về hệ điều hành, terminal và cấu hình để self-host LLM hoạt động ổn định.
- Nếu cấu hình sai hoặc mở quyền quá rộng, agent có thể truy cập nhiều dữ liệu nhạy cảm trên máy.
Chuẩn bị phần cứng, phần mềm và đặt mục tiêu bảo mật
Trước khi bắt tay self-host LLM, bạn cần xác định rõ hai thứ: bạn muốn trợ lý AI cá nhân làm gì, và mức độ bảo vệ dữ liệu AI mà bạn chấp nhận. Nếu mục tiêu chính là xử lý tài liệu nhạy cảm như sao kê ngân hàng, bảo hiểm, hồ sơ sức khỏe hay hợp đồng pháp lý, ưu tiên số một là mọi xử lý phải diễn ra trên thiết bị của bạn. Đối với setup trên máy tính, bạn cần một desktop, máy ảo, VPS hoặc NAS chạy Linux với tối thiểu 4GB RAM và 20GB dung lượng trống, cùng quyền sudo để cài đặt và cấu hình hệ thống. Bạn cũng cần Node.js 22 trở lên (phiên bản 24 được khuyến nghị), và một khóa API nếu muốn gọi thêm mô hình từ nhà cung cấp như OpenAI hoặc Anthropic. Nếu máy có GPU tốt, bạn có thể tải mô hình mở như Llama 3.3 và chạy hoàn toàn cục bộ bằng Ollama, giữ mọi xử lý trong môi trường của mình. Trên điện thoại, các ứng dụng LLM offline hiện cho phép chạy mô hình 2B–7B, đủ cho tóm tắt và truy vấn tài liệu cá nhân với tốc độ vài token mỗi giây.
| Yêu cầu | Máy tính / VPS | Điện thoại |
|---|---|---|
| RAM tối thiểu | ≥ 4GB cho môi trường Linux self-host LLM. | Phụ thuộc vào RAM máy, thường giới hạn cỡ mô hình 2B–7B. |
| Lưu trữ trống | ≥ 20GB để cài hệ thống và lưu mô hình. | Đủ dung lượng cho mô hình và bộ tài liệu cần xử lý. |
| Kết nối mạng | Cần cho tải mô hình, có thể tắt sau khi chạy offline. | Cần khi tải ứng dụng và mô hình, RAG chạy hoàn toàn on-device. |
| Bảo mật dữ liệu | Dữ liệu có thể giữ hoàn toàn trong máy nếu dùng mô hình mở cục bộ. | Tài liệu được chunk và embed ngay trên thiết bị, không gọi lên đám mây. |
Các bước cài đặt: từ OpenClaw đến giao diện Open WebUI
Phần này là xương sống của quy trình: từng bước để bạn chạy AI offline trên máy tính với một agent có giao diện web. Ý tưởng là dùng OpenClaw làm nền tảng agent chạy trên hạ tầng cục bộ, rồi kết nối vào Open WebUI để có giao diện chat thân thiện. Đây là mô hình điển hình cho self-host LLM: phần xử lý ngôn ngữ có thể dùng mô hình mở chạy cục bộ, hoặc tạm thời dùng API đám mây nếu bạn chấp nhận gửi dữ liệu ra ngoài. Quan trọng là hiểu các bước là tuần tự, và phần hay gây lỗi nằm ở việc bật endpoint đúng cách, cũng như để cho container Open WebUI “nhìn” thấy gateway trên host. Khi hoàn tất, bạn sẽ có một trợ lý AI cá nhân trong giao diện web, nơi agent có thể đọc/ghi file, chạy lệnh và xử lý tác vụ tự động bên trong hạ tầng của bạn.
- Cài OpenClaw: Mở terminal trên máy Linux và chạy script cài đặt chính thức: curl -fsSL https://openclaw.ai/install.sh | bash. Sau khi cài xong, chạy trình hướng dẫn onboarding bằng lệnh openclaw onboard để đặt tên agent, chọn nhà cung cấp mô hình và dán khóa API nếu bạn dùng LLM dịch vụ. Nếu muốn chạy mô hình mở cục bộ, tải repo mô hình như Llama 3.3 hoặc Qwen 3.7 từ Hugging Face rồi cấu hình trong file ~/.openclaw/openclaw.json.
- Bật API endpoint: Để Open WebUI nói chuyện với OpenClaw, bạn phải bật endpoint tương thích OpenAI đã bị tắt mặc định vì lý do bảo mật. Mở file cấu hình bằng nano ~/.openclaw/openclaw.json và thêm khối cấu hình gateway.http.endpoints.chatCompletions.enabled = true vào JSON. Lưu lại và nếu gateway đang chạy, hãy khởi động lại để thay đổi có hiệu lực.
- Khởi động gateway: Chạy lệnh openclaw gateway để bật tiến trình gateway trên port 18789, rồi kiểm tra trạng thái bằng openclaw gateway status để chắc chắn nó đang lắng nghe. Lúc này, agent của bạn đã có điểm truy cập API nội bộ cho các ứng dụng khác sử dụng.
- Cài Docker và chạy Open WebUI: Để có giao diện web thân thiện, cài Open WebUI dưới dạng ứng dụng Docker. Cập nhật danh mục gói và cài chứng chỉ, curl bằng sudo apt-get update rồi sudo apt-get install -y ca-certificates curl. Thêm khóa GPG chính thức của Docker vào /etc/apt/keyrings để hệ thống xác minh nguồn gói, rồi đăng ký repository Docker với apt. Sau khi cài Docker Engine và Docker Compose, chạy container Open WebUI, đảm bảo thêm thông số --add-host để container truy cập gateway trên host qua port 18789 thay vì localhost, nếu không giao diện sẽ không kết nối được.
- Kiểm tra trợ lý AI cá nhân trong giao diện: Khi Open WebUI chạy ổn, agent OpenClaw sẽ xuất hiện như một mô hình chọn được trong cửa sổ chat. Hãy chọn agent đó từ danh sách, gửi một tin nhắn thử để đảm bảo mọi thứ đã nối đúng. Khi setup hoàn thành và UI hoạt động, bạn có thể bắt đầu xây quy trình tự động, từ đọc file, chạy task hệ thống đến xử lý tài liệu nội bộ.
Những lỗi thường gặp và cách giữ dữ liệu luôn an toàn
Hai điểm hay gây lỗi nhất trong setup này đều liên quan đến bảo mật: endpoint bị tắt và cách container truy cập gateway. Endpoint OpenAI-compatible trong OpenClaw bị tắt mặc định để tăng an toàn, nên nếu bạn quên bật nó trong openclaw.json, Open WebUI sẽ không thể gửi request đến agent. Một lỗi khác nằm ở chỗ Open WebUI chạy trong container, OpenClaw chạy trên host, nên nếu bạn để container dùng localhost, nó sẽ không “nhìn” thấy gateway trên port 18789; bạn phải dùng cờ --add-host để ánh xạ host vào container. Về bảo vệ dữ liệu AI, cần hiểu rõ rằng nếu bạn dùng khóa API của mô hình đám mây, nhà cung cấp sẽ có quyền truy cập mọi dữ liệu đi qua API đó. Câu an toàn nhất là dùng mô hình mở chạy hoàn toàn trên phần cứng của mình, khi đó tất cả dữ liệu được giữ trong môi trường cục bộ, không liên quan tới đám mây. Đồng thời, vì agent có quyền hệ thống rộng, bạn nên sao lưu file quan trọng và đăng xuất khỏi các tài khoản online mà bạn không muốn agent đụng vào, tránh tình huống công cụ tự đọc hoặc sửa file nhạy cảm.
Làm sao để đảm bảo tài liệu nhạy cảm không rời khỏi thiết bị?
Hãy dùng mô hình mở chạy cục bộ (ví dụ Llama 3.3 với Ollama) thay vì API đám mây, để mọi xử lý đều trong máy bạn. Trên điện thoại, chọn ứng dụng LLM offline có hệ thống RAG chạy hoàn toàn on-device, nơi mọi tài liệu được chunk và embed ngay trên thiết bị, không có cuộc gọi lên cloud.
Có nên để agent truy cập toàn bộ hệ thống?
OpenClaw mặc định có quyền hệ thống rộng, có thể đọc/ghi file và chạy tác vụ tự động. Để an toàn, hãy sắp xếp lại thư mục, tách dữ liệu nhạy cảm ra khỏi nơi agent làm việc, và luôn sao lưu dữ liệu trước khi cho phép agent chạy job tự động dài.
Trade-off hiệu suất, chi phí và trải nghiệm trợ lý AI cá nhân
Khi đã chạy AI offline ổn định, câu hỏi cuối cùng luôn là: có đáng so với dịch vụ đám mây? Về hiệu suất, mô hình cục bộ trên điện thoại và máy yếu sẽ chậm hơn cloud, với tốc độ chỉ vài token mỗi giây trên mô hình 4B–7B, và bị giới hạn bởi RAM nên dạng 2B–3B thường chỉ đủ cho tóm tắt và truy vấn tài liệu, khó so được với mô hình frontier trên đám mây. Tuy vậy, nhiều người vẫn chấp nhận: “Tôi ưu tiên mô hình nhỏ chạy local để có thể đưa toàn bộ tài liệu cá nhân cho nó xử lý, hơn là mô hình cloud lớn nhưng lúc nào cũng phải lọc xem nên chia sẻ gì”. Về chi phí, nền tảng như OpenClaw và Open WebUI đều miễn phí dùng; nếu gọi mô hình cloud qua API, bạn sẽ trả tiền theo token tiêu thụ, nhưng vẫn rẻ hơn so với nền tảng AI agent quản lý trọn gói tính phí từng job tự động. Giữ mọi thứ offline bằng mô hình mở là cách duy nhất để đảm bảo bảo vệ dữ liệu AI tối đa, còn dùng API đám mây là một thỏa hiệp giữa tiện lợi và riêng tư. Cuối cùng, xây dựng trợ lý AI cá nhân trên hạ tầng riêng giúp bạn tự thiết kế trải nghiệm: từ đọc sao kê, PDF bảo hiểm đến tự động hóa tác vụ lặp lại trong hệ thống, tất cả đều dưới quyền kiểm soát của bạn.
