Chạy mô hình AI cục bộ với Obsidian làm trợ lý nghiên cứu

Mô hình AI cục bộ là gì và vì sao nên gắn với Obsidian?

Mô hình AI cục bộ là các mô hình ngôn ngữ lớn (LLM) chạy hoàn toàn trên thiết bị cá nhân của bạn, dùng chính dữ liệu của bạn mà không gửi thông tin lên máy chủ đám mây, giúp bảo vệ quyền riêng tư, giảm phụ thuộc vào thuê bao dịch vụ AI và biến kho kiến thức cá nhân thành trợ lý nghiên cứu AI hiểu ngữ cảnh sâu sắc hơn ghi chú của bạn. Nếu bạn đã mệt với việc trả tiền cho nhiều dịch vụ như Claude, ChatGPT hay các công cụ tìm nguồn trực tiếp, việc dựng hệ thống mô hình AI cục bộ trên máy mình là bước tiếp theo hợp lý. Điều kiện tiên quyết là bạn có một máy tính bàn hoặc laptop đủ mạnh, một điện thoại Android nếu muốn chạy trên di động, và một kho ghi chú trong Obsidian để làm “bộ nhớ dài hạn”. Obsidian rất phù hợp vì vault chỉ là thư mục file markdown, dễ cho bất kỳ công cụ AI nào quyền truy cập từ hệ thống tệp. Cái giá bạn phải chấp nhận là đầu tư chút thời gian cài đặt Docker, chọn open source LLM phù hợp cấu hình, và học vài khái niệm như workspace, knowledge collection, MCP server. Nhưng đổi lại, bạn có dữ liệu nằm trên máy, không lo rò rỉ, không giới hạn token theo tháng, và mỗi phiên chat có thể biến thành một buổi nghiên cứu dựa trên chính ghi chú của bạn.

Chuẩn bị công cụ: open source LLM và nền tảng chạy cục bộ

Trước khi kết nối Obsidian với AI, bạn cần một nền tảng chạy mô hình AI cục bộ và vài công cụ open source xung quanh nó. Mục tiêu là thay thế các dịch vụ đám mây bằng một bộ công cụ miễn phí chạy trên chính phần cứng của bạn. Trên máy tính, bạn có thể dùng Open WebUI chạy trong Docker để có giao diện chat trên trình duyệt, hoạt động giống web app ChatGPT. Open WebUI kết nối với Ollama để chạy mô hình AI cục bộ hoặc bất kỳ endpoint tương thích OpenAI nếu cần mô hình lớn hơn. Ngoài ra, LM Studio là một LLM runner được đánh giá cao vì bật lên nhanh và tích hợp sẵn plugin, MCP, rất hợp cho việc nối với Obsidian. Trên điện thoại Android, PocketPal AI tải mô hình từ Hugging Face và chạy trực tiếp trên thiết bị, không cần đăng nhập, máy chủ hay định mức dữ liệu, mọi dữ liệu ở lại trên máy. Đây là ứng dụng có thể thay thế Claude trong vai trò brainstorm, viết code mẫu, nảy ý tưởng khi bạn không ngồi trước máy tính. Điểm hạn chế là điện thoại thường chỉ gánh được mô hình 1B–4B tham số, dẫn đến khả năng suy luận hạn chế và dễ “trôi đề” với yêu cầu phức tạp.

Biến Obsidian thành trợ lý nghiên cứu AI: các bước cấu hình

Đây là phần quan trọng: bạn sẽ kết nối mô hình AI cục bộ với vault Obsidian để mô hình đọc được ghi chú và trả lời như một trợ lý nghiên cứu AI hiểu bạn. Điểm đặc biệt ở Obsidian là vault chính là thư mục chứa mọi nội dung, nên chỉ cần cấp quyền truy cập filesystem cho công cụ AI và trỏ vào đường dẫn vault là xong. Thay vì pipeline RAG phức tạp với vector database, cách trong bài là dùng server hệ thống tệp (filesystem server) để cấp cho mô hình một bộ công cụ đọc file: liệt kê thư mục, tìm tên file, đọc nội dung markdown đầy đủ khi cần. Mô hình sẽ lôi cả note liên quan mỗi khi câu hỏi yêu cầu, giống như cách bạn tự mở file ghi chú, giúp giữ nguyên ngữ cảnh bạn đã viết thay vì chia đoạn rời rạc. Dưới đây là trình tự từng bước để cấu hình LM Studio đọc vault Obsidian qua Model Context Protocol, bạn có thể xem như một người bạn hướng dẫn bạn trên máy mình.

1. Cài LM Studio và tải một open source LLM phù hợp cấu hình, ví dụ Qwen 3.5 9B nếu bạn có GPU với 8GB VRAM vì mô hình này được đánh giá mạnh ở khả năng gọi công cụ.
2. Xác định đường dẫn đầy đủ tới vault Obsidian của bạn trên ổ cứng (trên Windows nhớ ghi với dấu gạch chéo ngược và dùng dấu gạch chéo kép trong JSON để tránh lỗi).
3. Trong thư mục cấu hình của LM Studio, mở hoặc tạo file mcp.json rồi thêm một khối JSON mới khai báo filesystem server @modelcontextprotocol/server-filesystem, gồm tên server, endpoint và phần args trỏ tới đường dẫn vault.
4. Trong phần args của filesystem server, thêm ít nhất một tham số allowed-directory chứa đường dẫn vault; nếu không có tham số này, server sẽ không khởi động và bạn sẽ dễ nhầm tưởng cấu hình sai.
5. Lưu mcp.json, quay lại LM Studio để nó tự động spawn filesystem server; nếu có lỗi, kiểm tra lại đường dẫn (đặc biệt là dấu gạch chéo kép trên Windows) và bảo đảm đã khai báo allowed-directory.
6. Mở một phiên chat mới trong LM Studio, chọn mô hình bạn đã tải, và thử yêu cầu mô hình liệt kê file, đọc một note cụ thể hay tóm tắt nội dung một ghi chú quan trọng trong vault để kiểm tra quyền truy cập.
7. Từ đây, dùng phiên chat như một trợ lý nghiên cứu AI: hỏi về các dự án, bài test cũ, hoặc nhờ mô hình xem bạn đã từng ghi chú nào mâu thuẫn với bài viết mới, mô hình sẽ đọc lại các file liên quan và trả lời dựa trên lịch sử nghiên cứu của bạn.

Sai lầm phổ biến nhất là quên tham số allowed-directory trong cấu hình filesystem server, khiến server không khởi động dù mọi thứ còn lại đã đúng. Một lỗi khác là chọn mô hình quá lớn so với VRAM, dẫn đến treo máy hoặc tốc độ token/s thấp. Hãy nhớ rằng bất kỳ phiên LLM cục bộ nào cũng có thể trở thành phiên nghiên cứu miễn là nội dung đã nằm trong vault của bạn; không cần thêm bước nhập lại tài liệu vào một dịch vụ đám mây.

Kết hợp công cụ open source để thay thế dịch vụ đám mây

Khi đã có mô hình AI cục bộ đọc Obsidian, bạn có thể xây cả “bộ công cụ” quanh nó để thay thế nhiều dịch vụ đám mây một lúc. Một người dùng đã chuyển từ việc trả tiền cho bốn công cụ khác nhau sang dùng các giải pháp open source trên phần cứng cá nhân cho từng nhiệm vụ riêng. Open WebUI cung cấp một cửa sổ chat trên trình duyệt, kết nối với Ollama cho mô hình cục bộ hoặc bất kỳ endpoint tương thích OpenAI, với một địa chỉ duy nhất cho mọi mô hình và không còn hóa đơn hàng tháng. Bạn có thể gán knowledge collection chứa tài liệu vào phiên chat để mô hình trả lời dựa vào file của bạn chứ không đoán. PocketPal AI trên điện thoại lo phần brainstorm và coding nhẹ nhàng với mô hình 1B–4B, tải từ Hugging Face và chạy hoàn toàn trên máy, không dữ liệu nào ra khỏi thiết bị. AnythingLLM là ứng dụng MIT-licensed biến tập hợp file thành thứ bạn có thể đặt câu hỏi, hỗ trợ PDF, Word, ghi chú thuần văn bản, web page và lập chỉ mục mà không cần cấu hình phức tạp. Mọi thứ chạy trong workspace tách biệt nên nghiên cứu công việc và ghi chú cá nhân không bị trộn lẫn. Một công cụ khác là Vane, dự án trước đây mang tên Perplexica, được đóng gói thành một image Docker chứa sẵn công cụ metasearch SearXNG, nên phần cấu hình tối giản. Theo bài viết, “Setup isn't difficult, though it isn't nothing either. Each tool is a Docker command and a config screen, which is about the same effort as replacing paid subscriptions with open source apps in any other category.”

Kỳ vọng thực tế, lợi ích lâu dài và điều nên tránh

Khi mọi thứ chạy ổn, kết quả là bạn có quyền sở hữu dữ liệu, quyền riêng tư cao hơn, khả năng dùng offline và ít thuê bao phải quản lý hơn. Mô hình cục bộ của bạn đã đọc hàng tháng ghi chú nghiên cứu trong vault và trả lời như thể nó biết những gì bạn biết, vì toàn bộ bối cảnh nằm trong ghi chú của bạn. Bất kỳ phiên LLM cục bộ nào cũng có thể biến thành buổi nghiên cứu miễn là nội dung đã sẵn trong Obsidian. Nhưng đừng ảo tưởng rằng mọi tác vụ đều nên chạy trên mô hình miễn phí. Những việc đòi hỏi suy luận nặng, phân tích dài nhiều bước hay code phức tạp vẫn đạt hiệu quả tốt hơn nếu dùng mô hình trả phí mạnh hơn. Hãy xem hệ thống mô hình AI cục bộ với Obsidian như “bộ nhớ dài hạn riêng tư” cho các quyết định cá nhân, nội dung nhạy cảm như tài chính, tin tức embargo…, nơi bạn không muốn bất kỳ rủi ro dữ liệu nào bị lộ. Nếu bạn để ý tới hai “cú lừa” chính – quên allowed-directory khiến server không chạy, và kỳ vọng mô hình nhỏ xử lý mọi bài toán khó – trải nghiệm tổng thể rất đáng công: bạn được một trợ lý nghiên cứu AI ngồi ngay trên PC, hiểu sâu nghiên cứu của bạn mà không phải thuê bao thêm dịch vụ nào.