High Bandwidth Flash là gì và vì sao đáng để quan tâm?
High Bandwidth Flash (HBF) là một tiêu chuẩn mở cho bộ nhớ flash băng thông cao do SK hynix và Sandisk phát triển, kết hợp tính không mất dữ liệu của 3D NAND với hiệu năng kiểu High Bandwidth Memory để phục vụ các hệ thống suy luận AI cần lượng dữ liệu khổng lồ gần GPU.
Điểm mấu chốt: HBF không chỉ là một kiểu SSD nhanh hơn, mà là một tầng bộ nhớ mới được thiết kế để lấp khoảng trống chết người giữa HBM siêu nhanh nhưng nhỏ và SSD dung lượng lớn nhưng chậm. Theo đặc tả ban đầu, HBF cung cấp các gói bộ nhớ lên tới 512 GB và băng thông chia làm ba cấp, từ khoảng 0,4 TB/s tới 3,0 TB/s. Ở cấp cao nhất, băng thông 3 TB/s này còn vượt cả một stack HBM4 đơn lẻ vốn đạt khoảng 2 TB/s. Nói cách khác, HBF đặt cược rằng vấn đề lớn nhất của GPU AI hiện nay không chỉ là “thiếu FLOPS”, mà là “thiếu bộ nhớ đủ to và đủ nhanh” ngay cạnh chip.
Cách HBF hoạt động: NAND stack 16-Hi, UCIe và logic gần bộ nhớ
Về kỹ thuật, tiêu chuẩn HBF mới định nghĩa các gói bộ nhớ dùng cấu hình xếp chồng tám hoặc 16 chip NAND (8-Hi, 16-Hi), với dung lượng tối đa 512 GB mỗi gói. Đây không phải các stack 3D NAND thông thường mà là những “HBF core dies” chuyên biệt với giao diện tốc độ cao, được thiết kế để có nhiều mảng nhớ có thể truy cập song song qua các đường đọc/ghi riêng. Chính kiến trúc nhiều mảng song song này cho phép một gói HBF duy nhất có thể đạt trên 400 GB/s băng thông khi kết nối qua một giao diện UCIe chạy tới 64 GT/s với 64 lane.
Ở tầng kết nối, SK hynix nhấn mạnh HBF sẽ nói chuyện với CPU, GPU và các bộ xử lý logic khác qua Universal Chiplet Interconnect Express (UCIe), một chuẩn mở cho kết nối chiplet tốc độ cao. Điều này cho phép HBF được gắn khá “sát” với GPU trong cùng một module hoặc cùng gói đa chip, thay vì phải đi vòng qua bus PCIe như SSD. Nói gọn, HBF đưa NAND đến gần logic hơn bao giờ hết, biến nó từ thiết bị lưu trữ xa xôi thành một phần mở rộng bộ nhớ cận kề.
HBF khác gì so với HBM và SSD, và vì sao HBM một mình là chưa đủ?
Nếu phải tóm gọn, HBF là “tầng giữa” giữa HBM và SSD. HBM vẫn là vua về độ trễ thấp và băng thông cực cao, nhưng dung lượng mỗi stack bị giới hạn. Một stack HBM4 tối đa 64 GB, trong khi một stack HBF có thể cung cấp tới 512 GB. Ngược lại, SSD có thể cho dung lượng hàng chục terabyte nhưng băng thông, độ trễ và khoảng cách vật lý tới GPU khiến chúng không phù hợp làm bộ nhớ làm việc trực tiếp cho mô hình AI lớn. HBF cung cấp băng thông cao hơn đáng kể so với SSD đồng thời giữ được khả năng lưu trữ lớn của flash NAND.
Về băng thông, cấp cao nhất của HBF đạt tới 3 TB/s, vượt băng thông của một stack HBM4 đơn lẻ ở mức 2 TB/s. Dù HBF khó có thể sánh kịp HBM về độ trễ, nó không cần làm điều đó: mục tiêu của HBF là trở thành “tầng bộ nhớ thứ hai” cho GPU – chậm hơn HBM nhưng nhanh hơn rất nhiều so với SSD, với dung lượng lớn hơn nhiều so với HBM. Đây là câu trả lời thực tế cho bài toán: HBM quá đắt để mở rộng vô hạn, SSD quá chậm để phục vụ mô hình khổng lồ – vậy cần một tầng bộ nhớ cận kề mới.
Ý nghĩa thực tế: bớt nghẽn cổ chai bộ nhớ cho AI và dữ liệu lớn
Các bộ tăng tốc AI hiện đại đang bị kéo căng bởi nhu cầu suy luận trên mô hình ngày càng to, bộ dữ liệu ngày càng lớn. Công nghệ HBF được định vị như một tầng bộ nhớ mới cho các tải suy luận AI, bằng cách kết hợp băng thông gần-bộ-nhớ với dung lượng lớn và tính không mất dữ liệu của NAND flash. Công nghệ này nhắm vào các khối công việc đòi hỏi vùng bộ nhớ gần compute lớn hơn nhiều so với những gì HBM có thể cung cấp một cách kinh tế. Khi suy luận AI khiến lượng dữ liệu cần xử lý bùng nổ, HBF thu hút sự chú ý nhờ khả năng cung cấp đồng thời băng thông cao và dung lượng lưu trữ có thể mở rộng.
Trong thực tế, điều này có nghĩa là các GPU có thể “nhìn thấy” thêm hàng trăm gigabyte bộ nhớ cận kề để chứa tham số mô hình, vector embedding hoặc bộ dữ liệu nóng, thay vì liên tục hoán đổi giữa HBM và SSD chậm chạp. SK hynix nói rõ rằng HBF được thiết kế để mở rộng ranh giới giữa bộ nhớ và lưu trữ, tái thiết kế lại cấu trúc xử lý dữ liệu tổng thể trong kỷ nguyên AI. Nếu HBF được các hãng GPU chấp nhận rộng rãi, chúng ta có thể thấy một thế hệ kiến trúc phân tầng bộ nhớ mới, nơi “bộ nhớ GPU không đủ lớn” không còn là lời than quen thuộc mỗi khi triển khai mô hình mới.
Tiêu chuẩn mở HBF và cuộc chơi hệ sinh thái
Điểm đáng hoan nghênh ở HBF là đây là một tiêu chuẩn mở, được công bố thông qua Open Compute Project thay vì một giao diện độc quyền. SK hynix và Sandisk không chỉ giới thiệu tiêu chuẩn HBF mới mà còn xây dựng cả bộ thông số về giao diện, điện, độ tin cậy, hướng dẫn đóng gói cho các chồng chip HBF và yêu cầu phần mềm cho I/O dữ liệu. Việc công bố bộ tiêu chuẩn kỹ thuật được xem là bước đầu để dựng một hệ sinh thái xoay quanh công nghệ này, cho phép nhiều công ty khác nhau phát triển sản phẩm tương thích cùng một nền tảng chung.
Liên minh HBF được SK hynix lập cùng Sandisk, với sự tham gia hiện tại của Google và Tenstorrent. Dù nhiều tên tuổi lớn khác chưa tỏ rõ quan điểm, SK hynix coi đây là cơ hội để mở rộng việc áp dụng HBF trong thị trường lưu trữ cho AI và nâng độ chín của công nghệ thông qua hợp tác mở. Quan điểm hợp lý là: nếu cộng đồng phần cứng AI nghiêm túc về việc phá vỡ rào cản bộ nhớ, họ cần một tiêu chuẩn chung – và HBF, với băng thông tới 3 TB/s, dung lượng lên tới 512 GB và vị thế nằm giữa HBM và SSD, đang là ứng viên sáng giá để trở thành chiếc cầu nối đó.
