根据TrendForce集邦咨询最新HBM报告，随着AI芯片的迭代，单一芯片搭载的HBM（高带宽内存）容量也明显增加。NVIDIA（英伟达）目前是HBM市场的最大买家，预期2025年推出Blackwell Ultra、B200A等产品后，其在HBM市场的采购比重将突破70%。
市场近日传出NVIDIA（英伟达）取消B100并转为B200A，但根据TrendForce集邦咨询了解，NVIDIA仍计划在2024年下半年推出B100及B200，供应CSPs（云端服务业者）客户，并另外规划降规版B200A给其他企业型客户，瞄准边缘AI（人工智能）应用。
随着高速运算的需求成长，更有效的AI Server（AI服务器）散热方案也受到重视。根据TrendForce集邦咨询最新AI Server报告，由于NVIDIA（英伟达）将在2024年底前推出新一代平台Blackwell，届时大型CSP（云端服务业者）也会开始建置Blackwell新平台的AI Server数据中心，预估有机会带动液冷散热方案渗透率达10%。
根据TrendForce集邦咨询最新存储器产业分析报告，受惠于位元需求成长、供需结构改善拉升价格，加上HBM(高带宽内存)等高附加价值产品崛起，预估DRAM（内存）及NAND Flash（闪存）产业2024年营收年增幅度将分别增加75%和77%。而2025年产业营收将持续维持成长，DRAM年增约51%、NAND Flash年增长则来到29%，营收将创历史新高，并且推动资本支出回温、带动上游原料需求，只是存储器买方成本压力将随之上升。
根据TrendForce集邦咨询最新发布「AI服务器产业分析报告」指出，2024年大型CSPs（云端服务业者）及品牌客户等对于高阶AI服务器的高度需求未歇，加上CoWoS（基板上晶圆芯片）原厂台积电及HBM（高带宽内存）原厂如SK hynix（SK海力士）、Samsung（三星）及Micron（美光科技）逐步扩产下，于今年第2季后短缺状况大幅缓解，连带使得NVIDIA（英伟达）主力方案H100的交货前置时间（Lead Time）从先前动辄40-50周下降至不及16周，因此TrendForce集邦咨询预估AI服务器第2季出货量将季增近20%，全年出货量上修至167万台，年增率达41.5%。
