SK海力士近日发布论文提出H3混合存储架构，该架构结合了HBM和HBF两种存储介质的优势。HBF相比HBM具有更大容量但延迟更长、耐久性更差的特点。

在架构设计上，GPU通过中介层与HBM基础芯片连接，HBM基础芯片内置控制器和延迟隐藏缓冲，再通过中介层与HBF基础芯片相连。这种设计特别适合LLM推理工作负载，尤其是采用共享预计算键值缓存的场景。

仿真测试结果显示，与传统仅使用HBM的系统相比，H3混合架构在处理海量只读数据的LLM推理任务中展现出更好的成本效益。

《夸克》非常好用的免费AI浏览器

下载APP查看