Hai TPU cho hai nút thắt của AI
TPU là bộ xử lý do Google thiết kế để tăng tốc các phép tính AI; thế hệ thứ tám nay có thêm hai hệ thống chuyên biệt, một bảo vệ dữ liệu trong lúc xử lý và một mở rộng khả năng làm việc với lượng thông tin lớn. Ngày 9 tháng 11, Google công bố TPU 8tx và TPU 8i Max, bổ sung vào hai hệ thống đã giới thiệu trước đó là TPU 8t cho huấn luyện quy mô lớn và TPU 8i cho suy luận thời gian thực. Đây là lần đầu hãng công bố bốn hệ thống cùng thế hệ trong một năm.
Sự phân hóa này phản ánh nhu cầu thực tế hơn là cuộc đua thông số đơn thuần. Khi AI tác nhân tự thực hiện nhiều bước, doanh nghiệp vừa phải giữ kín dữ liệu riêng, vừa cần đủ bộ nhớ để mô hình xử lý tài liệu, mã nguồn hay video dài. Thay vì tuyên bố một con chip đáp ứng mọi việc, Google mở rộng phần cứng AI theo từng loại tải công việc. Cách tiếp cận ấy tạo thêm lựa chọn cho trung tâm dữ liệu, nhưng lợi ích cuối cùng vẫn phụ thuộc vào việc khách hàng có thể đưa ứng dụng của mình lên nền tảng mới hay không.
TPU 8tx đưa bảo mật vào chính quá trình tính toán
TPU 8tx hướng đến doanh nghiệp và cơ quan chính phủ xử lý thông tin nhạy cảm. Hệ thống kết hợp công nghệ TPU 8t với bộ xử lý AMD EPYC thế hệ thứ năm và cơ chế bảo vệ dựa trên phần cứng, nhằm bảo vệ dữ liệu cùng trọng số mô hình khi chúng đang được xử lý. Điểm đáng chú ý là doanh nghiệp có thể tinh chỉnh mô hình hoặc chạy suy luận mà không phải chuyển dữ liệu nhạy cảm sang một hệ thống khác.
Đây là hướng đi có ý nghĩa với tổ chức tài chính, cơ quan công quyền và các lĩnh vực chịu quy định nghiêm ngặt: mã hóa dữ liệu khi lưu trữ hoặc truyền đi chưa đủ nếu dữ liệu lộ diện trong lúc tính toán. Google cũng cho biết mạng độ trễ thấp Boardfly giúp giảm độ trễ tối đa một nửa so với TPU 8t. Tuy vậy, tuyên bố về bảo vệ phần cứng không thay thế việc doanh nghiệp đánh giá cấu hình, chính sách truy cập và điều kiện bảo mật của dịch vụ đám mây mà họ thuê.
TPU 8i Max nhắm đến ngữ cảnh dài và AI tác nhân
TPU 8i Max giải quyết bài toán khác: giữ nhiều thông tin sẵn sàng để mô hình xử lý trong cùng một tác vụ. Google ghép hai chip TPU 8i vào một gói, qua đó tăng gấp đôi năng lực tính toán, dung lượng bộ nhớ SRAM tích hợp và băng thông bộ nhớ HBM so với TPU 8i. Mục tiêu là hỗ trợ các tác vụ cần xem xét kho mã lớn, tài liệu dài hoặc video kéo dài, nơi AI tác nhân phải dựa trên lượng ngữ cảnh đáng kể trước khi trả lời.
Năng lực này có thể hữu ích cho trợ lý lập trình, nghiên cứu và các công việc nhiều bước, nhưng không tự động khiến mọi tác vụ AI nhanh hơn hay rẻ hơn. Lợi ích phụ thuộc vào cách ứng dụng sử dụng bộ nhớ và khả năng phân bổ tác vụ. Vì Google chưa công bố dung lượng bộ nhớ tổng thể, mức tiêu thụ điện hay giá riêng của hệ thống, khách hàng hiện chưa thể so sánh đầy đủ hiệu quả vận hành. TPU 8i Max vì thế là một lựa chọn phần cứng chuyên dụng, chưa phải lời giải phổ quát cho AI tác nhân.
Phần mềm và khả năng triển khai mới quyết định sức cạnh tranh
Chip mạnh sẽ khó tạo khác biệt nếu nhà phát triển phải viết lại ứng dụng. Google đang tháo gỡ rào cản đó bằng TorchTPU mã nguồn mở, cho phép chạy mã PyTorch và mô hình Hugging Face trên TPU mà về nguyên tắc không cần sửa lại. Hãng cũng giới thiệu TPU Sync, công cụ được cho là có thể giảm hơn 90% độ trễ truyền dữ liệu cần cho xử lý AI, cùng Agent Compute Engine để hạn chế tài nguyên tính toán bị bỏ phí khi tác nhân chờ phản hồi từ công cụ bên ngoài.
Những bước này quan trọng vì cuộc cạnh tranh với GPU không chỉ nằm ở chip mà còn ở phần mềm, khả năng tiếp cận năng lực tính toán và hiệu quả trên từng ứng dụng. Một ước tính trong tài liệu nguồn cho rằng TPU có thể đạt tỷ lệ giá trên hiệu năng thấp hơn gần 30% so với GPU NVIDIA, nhưng con số này không thay thế được phép đo trên tải công việc thực tế. Google chưa nêu ngày cung cấp cụ thể hay giá cho hai hệ thống mới, dù cho biết chúng dự kiến đến vào năm sau. Oracle đã công bố kế hoạch đưa TPU lên Oracle Cloud từ năm 2027.
Với người dùng cuối, thay đổi sẽ gián tiếp: doanh nghiệp có thêm lựa chọn để chạy dịch vụ AI bảo vệ dữ liệu riêng hoặc xử lý yêu cầu dài hơn. Kết luận hợp lý lúc này không phải TPU sẽ thay thế toàn bộ GPU, mà chip TPU Google đang mở rộng cuộc đua bằng các cấu hình chuyên biệt. Khả năng cạnh tranh sẽ được quyết định bởi mức độ dễ chuyển mô hình, nguồn cung và hiệu quả mà khách hàng đo được trong chính hệ thống của mình.
