Thước đo đúng bắt đầu từ kết quả
Tối ưu hóa chi phí AI là cách doanh nghiệp chọn mô hình, dữ liệu và quy trình để đạt kết quả công việc cần thiết với mức tài nguyên hợp lý, thay vì tối đa hóa lượng sử dụng. Tokenmaxxing — chạy đua tiêu thụ token — có thể khiến bảng theo dõi trông sôi động nhưng không cho biết sản phẩm có tốt hơn hay khách hàng được phục vụ nhanh hơn không. Mục tiêu đáng theo đuổi là làm ra nhiều sản phẩm hơn, nâng chất lượng mà không cần tăng nhân lực; vì thế ROI mô hình AI phải gắn với giá trị tạo ra và chi phí để đạt giá trị ấy. Đặt số token làm đích có thể khuyến khích kỹ sư gửi thêm yêu cầu, kéo theo chi phí và công việc không cần thiết. Ngược lại, ép mức dùng xuống thấp nhất cũng có thể làm AI kém hữu ích. Doanh nghiệp cần đo đầu ra, không thưởng cho việc đốt hay tiết kiệm token.
Hiệu suất cao không nhất thiết phải mua mô hình lớn nhất
Lập luận về chi phí càng thuyết phục khi mô hình gọn hơn có thể đáp ứng phần lớn nhu cầu thực tế. CEO IBM Arvind Krishna ước tính các mô hình trọng số mở hiện đạt khoảng 90% hiệu quả của những mô hình tiên tiến nhất, với chi phí mỗi token bằng 10–25%. Cần giữ rõ giới hạn của con số này: Krishna không nêu bài kiểm tra cụ thể để đối chiếu, nên đây là nhận định của lãnh đạo doanh nghiệp, không phải kết quả kiểm chứng độc lập. Dù vậy, nó đặt ra câu hỏi đúng: nhiệm vụ nào thật sự cần mô hình hàng đầu? Với công việc lặp lại, ít phức tạp, chọn mô hình nhẹ có thể giúp giảm chi phí token mà vẫn giữ chất lượng đầu ra đủ dùng. Giá trị nằm ở cân bằng năng lực, chi phí và quyền kiểm soát, chứ không phải mặc định chọn hệ thống đắt đỏ nhất.
Amazon bác bỏ cuộc đua tiêu thụ token
Amazon đã nhắc kỹ sư đánh giá kết quả công việc thay vì lấy mức dùng AI hoặc lượng mã được tạo làm thước đo thành công của nhóm. Cảnh báo này xuất hiện sau khi tokenmaxxing thành trào lưu vào mùa xuân; đến đầu mùa hè, một số doanh nghiệp, trong đó có Uber, thừa nhận đã tiêu hết ngân sách AI cả năm chỉ trong vài tháng. Đây là lời nhắc rằng chỉ số dễ đếm có thể dẫn đội ngũ đi sai hướng. GPU hoạt động nhiều hay tính năng AI được phát hành liên tục cũng chưa chứng minh khách hàng nhận được giá trị. Metrics thực tế AI nên theo dõi thời gian hoàn thành thay đổi, tỷ lệ làm lại, chi phí mỗi thay đổi và tác động đến khách hàng. Với nhóm kỹ thuật có quy trình ổn định, DORA đo nhịp độ và độ an toàn của phát hành; SPACE đánh giá năng suất qua năm chiều, gồm kết quả và mức hài lòng.
Notion đưa việc tiết kiệm vào cách sử dụng
Notion chuyển các gói Business và Enterprise sang hệ thống credit: mỗi thành viên nhận 1.500 credit tiêu chuẩn hằng tháng cho chế độ để Notion chọn mô hình và 500 credit lựa chọn cho việc tự chọn mô hình hoặc chạy tác nhân tùy chỉnh. Chế độ Auto phân việc cho mô hình phù hợp; thử nghiệm của công ty cho thấy chế độ này giữ chất lượng đầu ra tương đương các mô hình cao cấp nhưng giảm chi phí trung bình khoảng 90%. Với người dùng, chỉnh sửa email tốn 5 credit ở Auto so với 50 ở Opus 5.5; tạo cơ sở dữ liệu lần lượt tốn 25 và 150 credit. Không gian làm việc mới đã áp dụng, còn các không gian hiện hữu chuyển đổi ngày 2/11. Notion dự đoán đa số người dùng sẽ không dùng hết credit, đồng thời cho biết Auto sẽ tiếp tục được cải thiện. Người dùng cũng có thể tiết kiệm bằng cách giữ ngữ cảnh tập trung, rõ ràng và ít mâu thuẫn: thông tin sạch giúp tránh tìm đi tìm lại qua nhiều nguồn. Kết luận rất rõ: đo ROI và hiệu suất kinh doanh AI, không đo độ dài hóa đơn token.
