Vì sao đã đến lúc chuyển sang AI không đám mây?
Thiết lập mô hình LLM cục bộ với Ollama là cách chạy trợ lý AI trực tiếp trên máy tính cá nhân, kết hợp cùng các công cụ như Devin và OpenCode để viết mã, tóm tắt tài liệu, phân tích dữ liệu mà không phụ thuộc hạ tầng đám mây, không trả phí theo lượt gọi API và giữ toàn bộ dữ liệu trên thiết bị của bạn. Nếu bạn đang dùng các dịch vụ AI đám mây để code, phân tích hoặc xử lý tài liệu, mô hình LLM cục bộ là câu trả lời hợp lý khi hóa đơn API tăng mà chất lượng không tăng tương xứng. Devin Desktop có thể quản lý các agent và để toàn bộ phần suy luận của mô hình chạy trên chính phần cứng của bạn, nghĩa là bạn không còn phải trả tiền cho từng prompt hay lo cháy hết credit. Đồng thời, AI không đám mây giúp bảo vệ dữ liệu nhạy cảm và làm việc ngay cả khi kết nối Internet yếu hoặc không tồn tại.
Những thứ cần chuẩn bị: phần cứng, phần mềm và mô hình
Trước khi mơ về việc bỏ hẳn dịch vụ AI đám mây, bạn cần thành thật với cấu hình máy của mình. Chất lượng trải nghiệm phụ thuộc nhiều vào mô hình LLM cục bộ bạn chọn và sức mạnh phần cứng đi kèm. Một chiếc PC với RAM đủ lớn và GPU tốt, hoặc các máy Mac đời mới, thường chạy được mô hình từ 9B trở lên với chất lượng chấp nhận được. Về phần mềm, bạn cần ba lớp: một framework phục vụ mô hình (Ollama hoặc tương đương), một mô hình như Qwen 3.5-9B hay bản mạnh hơn Qwen3-coder-30B-A3B nếu máy chịu nổi, và công cụ agent như OpenCode, Devin Desktop để làm việc với mã nguồn. Theo quy trình, hãy cài Ollama hoặc framework tương tự và tải về mô hình phù hợp; sau đó cấu hình OpenCode dùng endpoint tương thích OpenAI của Ollama và kiểm tra mô hình hoạt động ổn từ chính OpenCode.
Thiết lập Ollama và tích hợp Devin: quy trình từng bước
Nếu bạn muốn thay thế hoàn toàn coding agent đám mây bằng AI không đám mây, hãy đi theo quy trình rõ ràng thay vì thử ngẫu hứng. Bước 1: Cài đặt Ollama hoặc framework phục vụ LLM khác và tải một mô hình code, ví dụ Qwen 3.5-9B hoặc Qwen3-coder-30B-A3B nếu đủ phần cứng. Bước 2: Cấu hình OpenCode kết nối tới endpoint tương thích OpenAI của Ollama; OpenCode cũng có thể dùng mô hình cục bộ thông qua llama.cpp. Kiểm tra mô hình bằng một vài lệnh ngay trong OpenCode để đảm bảo suy luận diễn ra trơn tru. Bước 3: Cho OpenCode tự lộ diện như một agent ACP, sau đó vào Devin Desktop, mở phần User Settings, mục Agents, bật OpenCode và khởi động lại ứng dụng. Devin Desktop sẽ chạy OpenCode dưới dạng subprocess, còn OpenCode gửi yêu cầu suy luận đến Ollama trên cùng máy. Từ đây, bạn mở repository, khởi tạo phiên với agent OpenCode, mô tả thay đổi, để agent đọc file, sửa mã, chạy lệnh và lặp lại kết quả.
Tối ưu hóa Gemma và Qwen: cách lấy hiệu năng tối đa từ mô hình cục bộ
Nhiều người kết luận sai rằng mô hình cục bộ “yếu” vì họ giao cho nó các nhiệm vụ đồ sộ kiểu cloud frontier. Thực tế, việc tối ưu hóa Gemma Qwen xoay quanh hai trục: cấu hình mô hình và cách bạn chia nhỏ bài toán. Với Gemma 4, tắt chế độ "thinking" khi tóm tắt tài liệu có thể tăng tốc độ gấp 5 lần ở bản E4B và tới 8 lần ở bản 12B mà chất lượng vẫn tương đương. Đó là món quà hiệu năng cho mọi ai đang chạy trên laptop. Với Qwen, tác giả dùng Qwen 3.5-9B nhưng thừa nhận mô hình hoạt động tốt hơn khi nhiệm vụ được chia thành các phần nhỏ, thay vì một lệnh khổng lồ duy nhất. Nếu phần cứng cho phép, chuyển sang Qwen3-coder-30B-A3B sẽ cho chất lượng đầu ra tốt hơn thấy rõ. Bạn cũng có thể lấy thêm mô hình từ Hugging Face; nhiều trang mô hình hiển thị sẵn lệnh để tải và chạy cùng Ollama. Tuy nhiên, các mô hình mới không phải lúc nào cũng "cắm là chạy" như bản được tối ưu trên kho Ollama, đôi khi cần viết Modelfile để khắc phục lỗi.
Lợi ích thực tế: tiết kiệm chi phí, bảo vệ dữ liệu và biết giới hạn
Điểm đáng giá nhất của việc xây mô hình LLM cục bộ là bạn ngừng trả tiền cho từng prompt hay đốt API credit, miễn là đã có sẵn phần cứng. Với Devin Desktop làm lớp điều phối và các agent như OpenCode nói chuyện với Ollama, bạn giữ trọn trải nghiệm coding agent hiện đại nhưng mọi suy luận đều nằm trên máy của mình. Điều này đặc biệt hấp dẫn với doanh nghiệp nhỏ: chi phí vận hành giảm trong khi vẫn có trợ lý code miễn phí, riêng tư, phù hợp cho dữ liệu nhạy cảm, tóm tắt tài liệu cá nhân, các tác vụ đơn giản, làm việc trên máy bay hoặc trong môi trường Internet tệ. Kỳ vọng phải thực tế: Gemma 4 12B có thể viết hàm cơ bản, tóm tắt tài liệu, phân tích và trực quan hóa dữ liệu, trả lời câu hỏi ngắn, nhưng không nên mong nó tự tạo một package phức tạp chỉ từ một câu lệnh duy nhất. Dù vậy, "free coding help that’s 100% local and private can still be compelling" cho những tình huống nói trên. Khi mô hình cục bộ còn đang tiến hóa, việc kết hợp chúng với Devin và quy trình từng bước là chiến lược thông minh để rời khỏi đám mây mà vẫn giữ hiệu quả.
