Đếm token không đồng nghĩa với tạo ra năng suất
Đo hiệu quả AI là cách đánh giá liệu công cụ AI có cải thiện kết quả công việc và tạo giá trị kinh doanh tương xứng với nguồn lực đã bỏ ra hay không. Vì thế, số lượt dùng, lượng token hay tỷ lệ nhân viên có quyền truy cập chỉ nên là dữ liệu tham khảo, không phải thước đo thành công.
Trong một giai đoạn của năm nay, doanh nghiệp lập bảng xếp hạng nhân viên theo số token tiêu thụ; trào lưu ấy được gọi là tokenmaxxing vào mùa xuân, rồi nhanh chóng gặp phản ứng khi có công ty thừa nhận đã dùng hết ngân sách AI cả năm chỉ trong vài tháng. Nhưng chuyển sang thi đua dùng ít token cũng không giải quyết được vấn đề: nếu chỉ chăm chăm tiết kiệm, đội ngũ có thể bỏ lỡ công cụ hữu ích.
Bảng xếp hạng là chỉ số phù phiếm khi con số trông ấn tượng nhưng không giúp doanh nghiệp ra quyết định tốt hơn. Tỷ lệ áp dụng cao có thể chỉ phản ánh việc cấp giấy phép, chứ chưa cho thấy nhân viên sử dụng AI hiệu quả; còn số tính năng AI phát hành không nói lên chất lượng hay tác động. Năng suất AI cần được đo bằng đầu ra tốt hơn, chẳng hạn giao sản phẩm chất lượng cao hơn với cùng hoặc ít nhân lực hơn.
Amazon muốn kỹ sư bắt đầu từ nhu cầu khách hàng
Amazon đã cảnh báo kỹ sư không nên xem lượng token hay số dòng mã do AI tạo ra là thước đo thành công của nhóm. Trong bản ghi nhớ gửi nhân viên, lãnh đạo kỹ thuật gọi những chỉ số ấy là sai lệch và nhấn mạnh rằng vai trò cũng như đóng góp của kỹ sư không được định nghĩa bằng mức độ sử dụng AI.
Thay vì chạy đua tokenmaxxing, công ty muốn quản lý giúp đội ngũ hiểu lợi ích của công cụ AI, đồng thời khuyến khích kỹ sư gắn kết với khách hàng để nắm rõ nhu cầu của họ. Đây là hướng đi đúng: công nghệ chỉ đáng kể khi cải thiện trải nghiệm khách hàng, kết quả của doanh nghiệp hoặc cách đội ngũ hoàn thành công việc.
Với nhóm kỹ thuật đã có quy trình ổn định, hãy chọn mục tiêu cần cải thiện trước rồi mới xác định cách đo. Có thể theo dõi thời gian hoàn thành, tỷ lệ làm lại, độ ổn định khi phát hành hoặc chi phí cho mỗi thay đổi, rồi đối chiếu với mức sử dụng AI. Nếu việc dùng AI tăng mà độ ổn định giao hàng giảm, đó không phải thành công. Công cụ đo lường phải cho thấy công việc tốt lên, chứ không chỉ cho thấy AI xuất hiện thường xuyên hơn.
Theo dõi chi phí để biết khoản đầu tư có sinh lời
Không thể tính ROI AI nếu doanh nghiệp không biết tiền đang đi đâu. Cần theo dõi chi phí AI theo từng nhân viên, công cụ và mô hình để nhận ra ai đang sử dụng tài nguyên, nhiệm vụ nào cần mô hình cao cấp và công cụ nào không tạo đủ giá trị để tiếp tục duy trì.
Zapier cho nhân viên xem khoản chi của cá nhân theo từng công cụ và mô hình, đồng thời tự động cấp thêm ngân sách khi công việc cần mà không buộc họ gửi yêu cầu hay dự họp. Cách làm này không nhằm ép mọi người dùng ít AI hơn, mà giúp họ lựa chọn phù hợp: mô hình rẻ, nhanh cho việc đơn giản; mô hình mạnh hơn cho nhiệm vụ cần thiết. Với công việc lặp lại theo quy tắc cố định, tự động hóa truyền thống đôi khi đáng tin cậy và ít tốn kém hơn.
Chi phí cần được đặt cạnh mục tiêu đầu ra, không đứng riêng trên bảng điều khiển. Hãy gắn mỗi khoản đầu tư AI với một kết quả cụ thể như doanh thu, tốc độ, năng suất, chi phí tránh được hoặc giảm rủi ro. Khi đó, doanh nghiệp mới biết khoản chi tạo lợi ích vượt quá chi phí hay chỉ làm tăng mức tiêu thụ.
Bộ chỉ số tốt phải nối đầu vào với kết quả
Một hệ thống đánh giá hữu ích kết hợp ba lớp: chi phí theo nhân viên, công cụ và mô hình; chỉ số vận hành như thời gian chu trình và tỷ lệ làm lại; cùng kết quả kinh doanh như chất lượng, doanh thu, năng suất hoặc giảm rủi ro. Cách ghép này tránh cả hai cực đoan: thưởng cho tiêu thụ token và cắt AI chỉ để làm đẹp báo cáo chi phí.
Doanh nghiệp nên chọn trước một vấn đề cần giải quyết, ghi nhận mức cơ sở, thử công cụ trên quy trình phù hợp rồi so sánh đầu ra với tổng chi phí. Nếu chất lượng và tốc độ cải thiện mà rủi ro được kiểm soát, khoản đầu tư có cơ sở để mở rộng. Nếu chỉ số sử dụng tăng nhưng kết quả không đổi, cần điều chỉnh công cụ, mô hình hoặc quy trình.
Kết luận rất rõ: token không phải thành tích, cũng không phải kẻ thù cần triệt tiêu. Thước đo đúng là giá trị công việc được tạo ra trên mỗi khoản chi và mức độ đóng góp vào mục tiêu kinh doanh. Muốn AI thực sự nâng năng suất, hãy bắt đầu từ kết quả cần đạt rồi mới quyết định nên dùng bao nhiêu, dùng công cụ nào và có đáng tiếp tục đầu tư hay không.
