SanDisk High Bandwidth Flash: bước ngoặt mới cho bộ nhớ AI

High Bandwidth Flash là gì và vì sao mốc tape-out quan trọng?

SanDisk High Bandwidth Flash (HBF) là loại bộ nhớ flash NAND được xếp chồng nhiều lớp với giao tiếp cực rộng, được thiết kế để cung cấp băng thông cao và dung lượng lớn đặt gần GPU, nhằm giải quyết các nút thắt bộ nhớ trong hệ thống AI inference và lưu trữ dữ liệu quy mô lớn. Việc SanDisk tuyên bố đã hoàn thành công nghệ tape-out chip cho thế hệ HBF đầu tiên đánh dấu thời điểm thiết kế chuyển từ lý thuyết sang silicon thực tế, mở đường cho mẫu chip “HBF Inference Product Samples” gửi tới khách hàng từ năm 2027. Điểm quan trọng ở đây không chỉ là thêm một loại bộ nhớ mới, mà là bước ngoặt sang kỷ nguyên “Memory-Centric AI” – nơi hiệu quả của hệ thống AI phụ thuộc ngày càng nhiều vào khả năng bơm dữ liệu cho GPU nhanh và đủ lớn, hơn là chỉ tăng số lượng GPU. Nếu HBF đạt như tuyên bố, doanh nghiệp sẽ có một lớp bộ nhớ AI storage mới, đủ rẻ để mở rộng nhưng vẫn đủ nhanh cho inference thời gian thực.

Dung lượng vượt trội: HBF nhắm thẳng vào điểm yếu của HBM

HBF được giới thiệu đầu năm 2025 như một đối trọng với High Bandwidth Memory (HBM), vốn dùng DRAM xếp chồng và đã trở thành chuẩn mặc định trong GPU AI. Cách tiếp cận của SanDisk là chấp nhận độ trễ cao hơn của NAND để đổi lấy dung lượng khổng lồ: một chip HBF với 16 stacks có thể đạt tới 512 GB bộ nhớ, trong khi HBM3E hiện chỉ đạt 24 GB mỗi stack, dù các phiên bản tương lai hướng tới 48 GB. Nói cách khác, HBF hứa hẹn đem lại dung lượng gấp 8 đến 16 lần với chi phí tương đương. Trong các bộ tăng tốc thế hệ mới như Blackwell hay Instinct, dung lượng HBM được kỳ vọng ở mức 256–288 GB, nhưng nếu thay bằng HBF, tổng dung lượng có thể tăng lên tới 4.096 GB trên mỗi accelerator. "HBF soll damit die acht- bis 16-fache Kapazität bei vergleichbaren Kosten ermöglichen." Chính sự dư dả về dung lượng này mới là chìa khóa để lưu trữ trọn vẹn các mô hình ngôn ngữ lớn và bộ dữ liệu khổng lồ ngay sát GPU, giảm phụ thuộc vào SSD hay hệ thống lưu trữ mạng chậm hơn.

Từ training sang inference: vì sao băng thông bộ nhớ trở thành chiến trường

Bối cảnh khiến HBF xuất hiện lúc này không phải ngẫu nhiên: ứng dụng AI đang chuyển trọng tâm từ giai đoạn training sang inference, tức là chạy mô hình đã được huấn luyện cho hàng triệu yêu cầu mỗi ngày. Ở pha inference, vấn đề không còn là sức mạnh tính toán thuần túy mà là khả năng truy cập nhanh vào tập dữ liệu khổng lồ để người dùng không phải chờ quá lâu. Đây là lý do SanDisk gọi giai đoạn hiện tại là “Memory-Centric AI”. Theo các mô hình nội bộ của SanDisk, trong một cấu hình tham chiếu, HBF có thể thay thế hoàn toàn HBM và vẫn đạt hiệu năng inference tương đương, dù dùng chỉ một nửa số GPU, tức là về lý thuyết nhân đôi hiệu quả sử dụng GPU. Nếu doanh nghiệp có thể đạt cùng throughput mô hình với ít GPU hơn nhờ bộ nhớ AI storage được tối ưu, cấu trúc chi phí và thiết kế trung tâm dữ liệu AI sẽ thay đổi đáng kể – từ cách phân bổ ngân sách phần cứng đến chiến lược mở rộng dung lượng thay vì chỉ tăng công suất tính toán.

Jim Keller và cuộc chơi kiến trúc bộ nhớ ở tầm hệ thống

Một tín hiệu cho thấy SanDisk nghiêm túc với HBF là việc mời Jim Keller – CEO Tenstorrent, từng là kiến trúc sư chip tại AMD, Apple và Intel – gia nhập hội đồng cố vấn kỹ thuật cho HBF. Trước đó, hội đồng này đã có những cái tên như David Patterson và Raja Koduri, cho thấy SanDisk không coi HBF là một dự án bộ nhớ đơn lẻ mà là nền tảng mới cho kiến trúc hệ thống AI. Sự tham gia của Keller là tín hiệu rõ ràng: HBF sẽ không chỉ dừng ở việc tăng băng thông mà còn phải hòa vào thiết kế SoC, liên kết với GPU, và tương tác với phần mềm ở mức sâu. SanDisk cũng đặt mục tiêu đưa HBF trở thành chuẩn JEDEC để các nhà sản xuất khác cùng phát triển sản phẩm tương thích. Nếu kế hoạch này thành công, chúng ta sẽ không chỉ chứng kiến một dòng sản phẩm riêng lẻ, mà có thể là cả một “họ” bộ nhớ mới, xuất hiện rộng rãi trong accelerator AI thế hệ sau, tương tự hành trình chuẩn hóa từng giúp HBM phổ biến.

Lộ trình NAND BiCS9–11: lớp nền cho lưu trữ doanh nghiệp thời HBF

Song song với HBF, SanDisk công khai lộ trình NAND BiCS9, BiCS10 và BiCS11 – đây không chỉ là câu chuyện tăng số lớp mà là chiến lược phân tầng rõ ràng giữa consumer và lưu trữ doanh nghiệp. BiCS9 sử dụng vùng ô nhớ của BiCS8 kết hợp giao tiếp mới của BiCS10, nhờ công nghệ CBA cho phép sản xuất vùng nhớ và logic trên wafer riêng rồi ghép bằng wafer bonding. Cách "upgrade" này giúp giữ chi phí thấp, nên BiCS9 được định vị cho sản phẩm tiêu dùng, trong khi BiCS10 với mật độ bit và hiệu năng cao nhất được dành cho phân khúc enterprise. BiCS11 sẽ là bước nâng cấp “thuần” ở cả vùng nhớ lẫn logic, không còn là hybrid như BiCS9. Điều đáng chú ý là SanDisk đã nhắc đến cả BiCS12 và BiCS13, thể hiện tầm nhìn dài hạn về việc tăng bit per wafer cho mỗi thế hệ. BiCS9 QLC 2 Tbit được kỳ vọng tăng 150% tốc độ ghi và 75% tốc độ đọc so với BiCS8 cùng dung lượng; đồng thời cải thiện hiệu suất năng lượng đọc 40% và ghi 85%. Trong bức tranh chung, lớp NAND này sẽ là nền tảng cho hệ thống lưu trữ doanh nghiệp 2027 trở đi – nơi HBF nằm sát GPU, còn BiCS10/11 đảm nhiệm lưu trữ lâu dài và mở rộng dung lượng với hiệu quả năng lượng tốt hơn.