Từ tối ưu hóa GPU đến tối ưu hóa code: chọn Galahad hay Maxwell?

Tối ưu hóa hạ tầng AI: định nghĩa và kết luận nhanh

Tối ưu hóa hạ tầng AI là việc tăng tốc độ mô hình và giảm chi phí xử lý bằng cách thay đổi cách GPU, CPU, bộ nhớ và lưu trữ vận hành, thay vì chỉnh sửa kiến trúc mô hình hay quy trình làm việc của người dùng, giúp hệ thống xử lý cùng một khối lượng dữ liệu với ít tài nguyên hơn và độ trễ thấp hơn. Trong bức tranh đó, Corbenic Galahad và Maxwell AI đại diện cho hai hướng tiếp cận rõ ràng: một bên tập trung vào tối ưu hóa GPU AI thông qua tái sử dụng KV cache, bên còn lại dùng tối ưu hóa code AI ở mức máy để tăng tốc toàn bộ ứng dụng. Nếu bạn đang vận hành cụm LLM lớn, Galahad phù hợp để giảm lãng phí xử lý văn bản; nếu bạn có nhiều dịch vụ và pipeline dữ liệu phức tạp, Maxwell lại hấp dẫn hơn nhờ khả năng tăng tốc rộng và giảm chi phí xử lý trên cả CPU lẫn GPU.

Galahad: biến SSD thành bộ nhớ làm việc cho GPU

Galahad được thiết kế để “GPU không đọc cùng một đoạn văn bản hai lần” bằng cách lưu KV cache – trạng thái attention khi mô hình đọc prompt – xuống NVMe cục bộ đã được mã hóa, rồi nạp lại khi gặp lại cùng văn bản. Cách làm này giúp tối ưu hóa GPU AI vì GPU không phải tái tính toán attention cho những tài liệu đã xử lý, trong khi phần cứng yêu cầu chỉ là Linux, GPU Nvidia và SSD NVMe phổ biến. Theo nhà sáng lập, việc nạp trạng thái từ SSD nhanh hơn nhiều so với đọc lại toàn bộ văn bản, và đó là nguồn gốc của con số “14×, 0,59 giây mỗi câu hỏi trên vLLM” được công bố. Tuy nhiên, chính tài liệu của họ thừa nhận phần lớn tốc độ đến từ việc đọc ít văn bản hơn nhờ thành phần truy xuất Blaise, chứ không chỉ từ việc tải KV cache. Dù vậy, điểm mạnh thực tế của Galahad là lớp hạ tầng nhỏ gọn, fail-closed, có khả năng tái sử dụng KV cache một cách chính xác trên vLLM và SGLang mà không cần thay đổi mô hình hay công cụ phục vụ.

Về bảo mật và vận hành, Galahad nhấn mạnh việc lưu KV cache dưới dạng mã hóa, tách biệt dữ liệu của từng khách hàng và cho phép ghi lại hoạt động để có thể “quay ngược” bộ nhớ làm việc của server về trạng thái trước đó. Điều này quan trọng với các tổ chức phải tuân thủ quy định dữ liệu nhưng vẫn muốn tăng tốc độ mô hình thông qua tái sử dụng KV cache giữa các batch suy luận. Dù thị trường đã có những giải pháp lưu KV cache xuống lưu trữ như LMCache, Nvidia Dynamo, CMX, WEKA hay Phison, Galahad cố gắng tạo khác biệt bằng một thư viện nhỏ, tập trung vào tái sử dụng chính xác và đóng lỗi an toàn. Điểm cần lưu ý là các so sánh hiệu năng hiện tại khá lệch: baseline dùng cửa sổ 12.000 token chỉ nhìn thấy 12% corpus và trả lời 10/100 câu hỏi, trong khi cấu hình Taliesin cho mô hình đọc toàn bộ và trả lời 98/100. Log thô chưa được công bố, phương pháp chọn của Blaise đang chờ bằng sáng chế, và các bài báo mới ở dạng preprint tự xuất bản chứ chưa qua phản biện. Vì vậy, Galahad phù hợp với đội ngũ sẵn sàng thử nghiệm beta để tối ưu hóa GPU AI, nhưng cần tự đo lại trên workload của mình trước khi tin hoàn toàn vào con số 14×.

Maxwell: tối ưu hóa code AI từ bên trong runtime

Maxwell đi theo hướng khác: thay vì tối ưu riêng cho LLM, nó tối ưu hóa code AI và mọi loại phần mềm bằng cách viết lại mã máy hoặc mã nhị phân ngay khi chương trình đang chạy. Maxwell chạy song song với ứng dụng, quan sát các lệnh mà CPU/GPU thực thi và thay thế bằng phiên bản nhanh hơn, trong khi hoàn toàn không chạm vào source code, lịch sử phiên bản hay quy trình review của đội phát triển. Theo mô tả, mục tiêu của Maxwell là “siêu tối ưu hóa” – tìm cách thực thi nhanh nhất có thể trên phần cứng cụ thể, thay vì áp dụng một bộ quy tắc cố định như compiler truyền thống. Sản phẩm được xây dựng để hoạt động trên cả CPU lẫn GPU, vì các nút thắt hiệu năng hiện đại thường phân tán giữa xử lý I/O, tuần tự hóa dữ liệu và kernel suy luận AI. Công ty cho biết Maxwell đã tăng tốc pipeline dữ liệu hơn 38 lần, tăng tốc kernel suy luận AI hơn 4,5 lần và giúp một khách hàng giảm 67% chi phí compute. Đây là một câu trích dẫn đáng chú ý: “Maxwell has made data pipelines more than 38 times faster and AI inference kernels more than 4.5 times faster in real-world workloads”.

Điểm hấp dẫn với đội vận hành là Maxwell tối ưu ở lớp hạ tầng chạy code, không yêu cầu lập trình viên viết lại ứng dụng hay chấp nhận đề xuất trong IDE. Điều này đặt Maxwell trong xu hướng rộng hơn: AI chuyển từ hỗ trợ sinh code sang tối ưu cách code chạy, đánh thẳng vào bài toán hóa đơn hạ tầng và thiếu nhân sự chuyên về hiệu năng. Tuy nhiên, cũng như Galahad, các con số hiện tại đều do công ty tự công bố và chưa có benchmark độc lập. Người dùng tiềm năng cần xem Maxwell như một công cụ tối ưu hóa GPU AI và CPU đầy hứa hẹn, nhưng phải thử nghiệm có kiểm soát trên workload của mình, đặc biệt với hệ thống nhạy cảm. Nếu bạn có nhiều dịch vụ microservice, pipeline dữ liệu lớn và chi phí compute tăng nhanh, Maxwell phù hợp hơn Galahad vì phạm vi tối ưu rộng và không giới hạn vào LLM. Ngược lại, nếu workload của bạn chủ yếu là suy luận LLM với nhiều câu hỏi lặp lại trên cùng corpus, lợi ích của Maxwell sẽ khó rõ ràng bằng việc tái sử dụng KV cache chuyên biệt.

So sánh thực tế: chọn lớp tối ưu nào cho bài toán của bạn?

Cả Galahad và Maxwell đều chia sẻ triết lý “đừng xây mô hình lớn hơn, hãy xây lớp bên dưới” khi tập trung tối ưu ở tầng hạ tầng thay vì thay đổi mô hình hay công cụ người dùng. Galahad phù hợp với các đội đang vận hành vLLM, SGLang, có lượng truy vấn lặp lại lớn trên cùng tài liệu và muốn tăng tốc độ mô hình bằng cách tránh xử lý văn bản dư thừa. Encrypted KV cache giúp bạn giảm chi phí xử lý vì GPU không phải đọc lại corpus, đồng thời vẫn giữ dữ liệu tách biệt và có thể rollback khi cần. Maxwell lại hướng đến tổ chức có nhiều loại workload: pipeline dữ liệu, dịch vụ backend, suy luận AI trên nhiều loại phần cứng. Với khả năng tối ưu hóa code AI và cả phần mềm thường ở mức mã máy, Maxwell có tiềm năng mang lại giảm chi phí xử lý đáng kể, như trường hợp khách hàng được báo cáo giảm 67% chi phí compute. Điểm yếu chung là cả hai bên đều chưa có dữ liệu kiểm chứng độc lập: Galahad thiếu log thô và chi tiết thuật toán chọn văn bản, Maxwell dựa hoàn toàn vào số liệu nội bộ. Vì vậy, quyết định nên dựa trên cấu trúc workload của bạn: nếu nút thắt nằm chủ yếu ở LLM, Galahad là lựa chọn tự nhiên; nếu nút thắt phân tán khắp hệ thống, Maxwell mang lại hiệu quả rộng hơn.

Buy if / Skip if

• Buy the Galahad nếu workload của bạn tập trung vào LLM (vLLM, SGLang) với nhiều câu hỏi lặp lại trên cùng corpus và bạn muốn tăng tốc độ mô hình bằng cách tái sử dụng KV cache đã mã hóa để tránh GPU đọc lại văn bản.
• Skip the Galahad nếu hệ thống của bạn ít dùng LLM hoặc bottleneck nằm ở pipeline dữ liệu, dịch vụ backend và bạn cần tối ưu hóa rộng hơn ở mức mã máy thay vì riêng lớp attention LLM.
• Buy the Maxwell nếu bạn quản lý nhiều dịch vụ, pipeline dữ liệu lớn và chi phí compute tăng nhanh, cần một giải pháp tối ưu hóa code AI và phần mềm thường ở runtime trên cả CPU lẫn GPU mà không phải sửa source code.
• Skip the Maxwell nếu workload của bạn đơn giản, chủ yếu là vài mô hình LLM cố định, hoặc bạn không sẵn sàng chấp nhận một lớp tối ưu hóa mã máy tự động chưa có benchmark độc lập trên hệ thống sản xuất.
• Buy the Galahad nếu bạn ưu tiên bảo mật KV cache với lưu trữ mã hóa, tách biệt dữ liệu từng khách hàng và khả năng rollback bộ nhớ làm việc, trong khi vẫn muốn giảm chi phí xử lý bằng cách tận dụng SSD như bộ nhớ AI.
• Skip the Galahad nếu bạn cần số liệu đã được kiểm chứng và benchmark chuẩn hóa ngay lập tức, vì hiện tại log thô và chi tiết thuật toán chọn văn bản vẫn chưa được công bố và các bài báo mới ở dạng preprint.
• Skip the Maxwell nếu bạn chỉ muốn tối ưu hóa GPU AI cho suy luận LLM cụ thể và không cần đến một hệ thống viết lại mã máy toàn diện, vì phạm vi của Maxwell có thể vượt quá nhu cầu và thêm độ phức tạp không cần thiết.