Chi phí mô hình AI: bài toán không chỉ là mô hình mạnh nhất
Chi phí mô hình AI là tổng số tiền bạn phải chi để một mô hình hoàn thành trọn vẹn một tác vụ thực tế, bao gồm token đầu vào, đầu ra, caching và cả hạ tầng chạy mô hình, chứ không chỉ là mức giá niêm yết cho mỗi triệu token hay điểm benchmark trên bảng xếp hạng. Khi đặt Step 5 Preview cạnh Claude Sonnet 5.5, câu hỏi quan trọng không phải là mô hình nào thông minh hơn trên giấy, mà là mô hình nào cho bạn nhiều tác vụ hoàn thành hơn trong cùng một ngân sách. Theo dữ liệu đánh giá độc lập, Step 5 Preview có điểm trí tuệ thấp hơn nhưng chi phí cho mỗi tác vụ lập chỉ mục lại thấp hơn gần một bậc độ lớn so với Claude Sonnet 5.5. Nếu bạn đang tối ưu hóa chi phí AI, đây là sự chênh lệch không thể bỏ qua.
Điểm mấu chốt: nếu bạn không xác định trước ngân sách và mức độ chính xác tối thiểu chấp nhận được, mọi so sánh mô hình đều dễ trượt thành cuộc thi khoe benchmark vô nghĩa. Mười hai điểm chênh lệch trên một chỉ số trí tuệ là đáng kể, nhưng khi chi phí cho mỗi tác vụ khác nhau tới hơn mười lần, câu hỏi thực tế là: bạn có đủ tiền để mua thêm mười hai điểm đó cho mọi tác vụ, hay nên chấp nhận mô hình rẻ hơn và bù lại bằng thiết kế hệ thống, kiểm thử và giám sát?
Step 5 Preview rẻ hơn theo tác vụ, nhưng caching mới là nơi hóa đơn xoay chiều
Trong so sánh Claude Sonnet, điều gây ngạc nhiên là chi phí cho mỗi tác vụ lập chỉ mục: Step 5 Preview thấp hơn khoảng một bậc độ lớn so với Claude Sonnet 5.5 ở cấu hình nỗ lực tối đa. Nói cách khác, bạn trả nhiều hơn mười lần tiền để đổi lấy mười hai điểm trí tuệ trên cùng một bài test. Câu hỏi không phải là mô hình nào “tốt”, mà là bạn có sẵn sàng chi mức premium đó cho mọi lượt gọi API hay không. Cả hai mô hình đều có xu hướng dài dòng, số token đầu ra trong lượt chạy index đều cao hơn trung vị của bảng, nghĩa là nếu không kiểm soát độ dài, hóa đơn sẽ phình ra rất nhanh. "Verbosity là dòng biến bảng giá thành hóa đơn" là câu nói nên được dán ngay trên dashboard của mọi đội dùng AI.
Tuy vậy, tối ưu hóa chi phí AI không dừng ở giá token tiêu chuẩn. Caching token AI mới là nơi chênh lệch trở nên rõ rệt. Với một vòng lặp agent có tiền tố ổn định 40.000 token, được gửi lại trong 30 lượt, tiền tố được ghi một lần và trúng cache 29 lần, phần lớn lưu lượng đầu vào sẽ đi qua bộ đệm. Trên những dòng có thể định giá, lưu lượng được cache của Claude Sonnet 5.5 đắt hơn khoảng năm lần so với Step 5 Preview. Nghĩa là trong các workload lặp lại, nặng về ngữ cảnh dài, mô hình rẻ hơn trên cache sẽ tiếp tục kéo giãn khoảng cách chi phí theo thời gian, ngay cả khi giá niêm yết ban đầu trông không quá khác biệt.
Kích thước mô hình, tham số hoạt động và cái giá của “thêm sức mạnh”
Đằng sau mọi hóa đơn là phần cứng. Step 5 Preview thuộc lớp mô hình 600 tỷ tham số, trong khi một mô hình như Laguna S 2.1 chỉ có 118 tỷ tham số. Quan trọng hơn, số tham số hoạt động trên mỗi token của Step 5 Preview là 27 tỷ, so với khoảng 8 tỷ của Laguna S 2.1, tức cao hơn khoảng 3,4 lần, và đây mới là con số quyết định chi phí và độ trễ suy luận chứ không phải tổng tham số. Thêm ba tỷ tham số hoạt động đã đủ để phân biệt giữa một mô hình còn có thể chạy hợp lý trên một máy cấp desktop với bản lượng tử hóa và một mô hình buộc phải chạy trên cluster thực thụ. Đó là sự đánh đổi mà một đội ngũ sẽ phải thực hiện: gấp nhiều lần kích thước để chạy trên một cụm, hay chấp nhận mô hình nhỏ hơn để chạy trên một chiếc máy đơn.
Điểm yếu chung của mọi so sánh kiểu này là dữ liệu benchmark đều do nhà cung cấp công bố và chưa được tái lập độc lập, lại còn chạy trên những bộ khung kiểm thử khác nhau nên không thể trừ các con số cho nhau. Ngay cả khi hai phòng thí nghiệm cùng công bố điểm trên một benchmark cùng tên, các con số đó vẫn chưa được bất kỳ bên thứ ba nào xác nhận. Cả Step 5 Preview lẫn các mô hình đối chiếu đều không súc tích, và tài liệu tiếp thị của họ cũng không hề hứa hẹn điều đó. Vì vậy, nếu bạn chỉ nhìn vào điểm benchmark rồi suy ra chi phí thực tế, bạn đang bỏ qua hai biến số lớn nhất: kích thước mô hình và cách mô hình đó “ăn” token trong các tác vụ dài, lặp lại.
Chọn mô hình theo use case: cân bằng độ chính xác và ngân sách
Khi ghép hai hàng quan trọng nhất lại với nhau — điểm trí tuệ và chi phí cho mỗi tác vụ — hình dạng quyết định hiện ra khá rõ. Mười hai điểm chỉ số tách biệt Step 5 Preview và Claude Sonnet 5.5; một hệ số hơn mười lần tách biệt chi phí để chạy cùng một đánh giá. Nếu workload của bạn là ngữ cảnh dài, lặp lại thường xuyên, nặng về bộ nhớ đệm, thì phép tính nghiêng mạnh về mô hình có caching rẻ hơn, và khoảng cách về năng lực chính là cái giá bạn phải trả cho việc tiết kiệm ngân sách. Ngược lại, nếu mỗi lỗi đều rất đắt, bạn có thể chấp nhận chi nhiều hơn cho mỗi tác vụ để đổi lấy vài điểm chính xác bổ sung. Nhưng dù chọn hướng nào, bạn vẫn phải nhìn thẳng vào bài toán: chi phí mô hình AI không chỉ là giá token, mà là tổng chi phí hạ tầng, caching và độ dài đầu ra.
- Buy if: bạn có một cluster, ngân sách cloud rõ ràng và workload mà năng lực hoạt động lớn hơn mang lại giá trị xứng đáng; Step 5 Preview là canh bạc lớn hơn trong trường hợp này, dù trọng số và giấy phép vẫn còn đang chờ phát hành.
- Skip if: bạn cần một mô hình có thể chạy trên một máy duy nhất với kho chứa riêng; trong kịch bản này Step 5 Preview gần như bị loại khỏi cuộc chơi vì yêu cầu triển khai cao hơn.
- Buy if: khối lượng công việc của bạn mang đặc trưng ngữ cảnh dài, nặng về bộ nhớ đệm và lặp lại thường xuyên; ở đây, mô hình có caching rẻ hơn sẽ tiết kiệm tới cả một bậc độ lớn chi phí so với lựa chọn đắt tiền hơn.
- Skip if: bạn không thể chấp nhận độ chính xác thấp hơn hoặc không có nguồn lực để tự đánh giá mô hình trên tác vụ của mình; trong trường hợp đó, hãy ưu tiên mô hình có điểm trí tuệ cao hơn, dù chi phí mỗi tác vụ cao hơn nhiều.
Nếu bạn có một chiếc máy và một kho dữ liệu mà bạn quan tâm, một mô hình như Laguna S 2.1 được xây dựng chính xác cho tình huống đó; hãy tải về, lượng tử hóa theo khả năng phần cứng và đánh giá trên tác vụ của riêng bạn, vì con số benchmark của nhà cung cấp nói ít hơn rất nhiều so với vài trăm tác vụ nội bộ. Nếu bạn có một cụm máy, một ngân sách cloud và sẵn sàng chấp nhận rủi ro của mô hình mới, Step 5 Preview là lựa chọn đáng thử, nhưng vẫn là một canh bạc vì artifact và giấy phép chưa hoàn thiện. Cuối cùng, tối ưu hóa chi phí AI luôn là bài toán cân bằng: chấp nhận bớt thông minh để tiết kiệm, hay trả thêm tiền cho mỗi phần trăm chính xác — và không có câu trả lời đúng chung cho mọi đội.
