BlockBeats tin tức, ngày 30 tháng 8, nhà phân tích Jukan của Citrini cho biết, theo nguồn tin của ông, thông số kỹ thuật HBM mà Rubin Ultra của NVIDIA sử dụng có thể bị hạ từ 12 lớp HBM4E xuống còn 8 lớp. Các khách hàng như OpenAI và Anthropic thậm chí từng yêu cầu sử dụng sản phẩm 4 lớp, nhưng đã bị các nhà sản xuất bộ nhớ từ chối, hiện tại việc hạ cấp có thể dừng lại ở mức 8 lớp. Ông cho rằng, việc hạ cấp chủ yếu xuất phát từ áp lực về tỷ lệ đạt chuẩn và chi phí: nếu sử dụng HBM4E 12 lớp và tính cả việc tăng giá, chi phí bộ nhớ có thể chiếm khoảng 70% tổng chi phí vật liệu của Rubin Ultra.

Các tối ưu hóa phần mềm như lượng tử hóa mô hình, MLA và phân tách tác vụ tính toán đang chuyển các bộ đệm KV và trạng thái mô hình ít được truy cập sang LPDDR, CXL và NAND, trong khi HBM chủ yếu giữ lại tập làm việc cần thiết cho tính toán hiện tại. Do đó, sau khi đáp ứng dung lượng tối thiểu, khách hàng bắt đầu coi trọng băng thông HBM hơn dung lượng.

Ông cho rằng, việc giảm số lớp xếp chồng có thể cải thiện tỷ lệ đạt chuẩn đóng gói, tăng sản lượng xuất xưởng của HBM và bộ tăng tốc AI, ngược lại có thể mở rộng tổng nhu cầu HBM; yêu cầu băng thông cao hơn cũng sẽ làm giảm tỷ lệ chip vượt qua phân loại tốc độ trong tấm wafer, tiếp tục tiêu thụ công suất wafer DRAM. Về dài hạn, HBM cuối cùng sẽ bị thay thế bởi kiến trúc mới, hướng đi cuối cùng có thể là sự hợp nhất giữa bộ nhớ và chip logic, hai năm tới sẽ trở thành giai đoạn then chốt để các nhà sản xuất bộ nhớ có thể mở rộng sang lĩnh vực logic.