研究报告


HBM容量下修驱动KV Cache的存储器需求,8hi稳居主流

高科技产业研究报告

icon

发布日期

2026-09-21

icon

更新频率

不定期

icon

报告格式

PDF

icon

会员方案

  • HBM 套餐_簡


    报告介绍

    AI芯片业者评估下修HBM容量,冲击集中于推论阶段的KV cache配置,并衍生三种调整方式与对应代价;同时推升KV cache offload的存储器需求,主流业者仍规划采用供给稳定的8hi HBM,4hi仅适用特定情境。

    重点摘要

    • 影响范围:HBM容量下修主要冲击推论,模型权重须常驻,KV cache可用容量首当其冲。
    • 调整方式:业者可透过多种方式因应,惟各方式皆有其取舍。
    • 存储器需求:卸除KV cache将推升高带宽、低延迟的存储器需求,带动存储器阶层发展。
    • 规格展望:NVIDIA、Google等主流业者2027-28年仍规划采用供给稳定的8hi HBM,4hi则仅适用特定场景。

    目录

    1. 前言
    2. 容量下修的影响集中于推论,HBM在推论中主要容纳weights与KV cache
    3. HBM容量降低主要冲击KV cache可用容量,代价随调整方式而有所不同
      • Consequences of Downgrading HBM Capacity
      • Memory Hierarchy for KV Cache Offloading in AI Servers
    4. 主流AI芯片业者仍规画使用供给面较为实际的8hi/12hi HBM

    <报告页数:5>

    Memory Hierarchy for KV Cache Offloading in AI Servers


    报告分析师

    许家源




    HBM 套餐_簡 相关报告



    NVIDIA Rubin出货递延,2027年始放量挑大梁

    2026/09/21

    AI/HBM/服务器

     PDF

    NVIDIA高阶GPU出货以Blackwell系列为主力,Rubin平台因HBM4良率与散热设计等上游整备议题递延,预计待明年上半年后逐步放量成为主流,同时HBM持续为AI芯片供给瓶颈。

    4hi HBM现踪:Edge AI受瞩,数据中心导入受限

    2026/09/02

    AI/HBM/服务器

     PDF

    随次世代AI平台规划调整,HBM 4hi样品需求浮现,惟容量偏低、数据中心导入意愿低;部分终端应用另具评估空间,但规格仍处早期,供应端投入保守,短期以样品阶段为主。

    2026年第三季HBM市场动态与展望

    2026/09/01

    AI/HBM/服务器

     PDF

    AI需求推升HBM出货动能延续至未来订单,技术世代加速演进,需求版图自英伟达独大转向云端业者自研芯片,供给吃紧带动订价权转向供货商,惟传统存储器报价走扬稀释HBM营收占比。




    会员方案





    分類