AI 推理成本的长期瓶颈可能从计算转向缓存

免责声明：本文仅为我个人对公开产业资料与商业逻辑的思考与复盘，不构成任何投资建议，不涉及任何个股推荐或持仓暗示。市场有风险，决策需独立。

我读了 OpenAI、Anthropic、Google、DeepSeek 的官方文档，以及 vLLM、TensorRT-LLM、LMCache 的技术说明。我的判断是，AI serving 规模化以后，竞争焦点会从「谁有更多 GPU」扩展到「谁能把重复计算变成可复用缓存」。训练侧排在前面的是 HBM、光互连和电力；到了推理侧，缓存把观察范围拉到了 KV cache、prompt cache、semantic cache，以及背后的企业级 SSD、DRAM 和存储系统。

有一部分逻辑已经能站住：主流模型服务商和 serving 框架都把缓存写成了正式的降本、降延迟机制。OpenAI 官方文档称 Prompt Caching 可将延迟降低最高 80%、输入 token 成本降低最高 90%，并且只有完全相同的 prompt prefix 才能命中。Anthropic 文档里，cache read 大约是基础输入价格的 10%，TTL 有 5 分钟和 1 小时两档。Google Gemini 文档把 implicit caching 和 explicit caching 分开，后者用来保证省钱。DeepSeek 官方价格表上，V4 Flash 的 cache hit 输入价是 $0.0028 / 1M tokens，cache miss 是 $0.14 / 1M tokens，差了 50 倍。[1][2][3][4]

但推演到这里就要停住：即便缓存经济学成立，也推不出「普通 NAND 价格有 10 倍空间」。这两件事中间还隔着缓存类型、硬件层级、并发读写路径、过期策略、模型版本变化、云厂商议价，以及存储周期扩产。

四种缓存对应的硬件层级

缓存类型	真实存在的证据	主要收益	更可能吃的硬件	关键限制
Prompt / prefix cache	OpenAI、Anthropic、Google 都有官方 prompt/context caching 文档；vLLM 有 Automatic Prefix Caching	减少重复 prefix 的 prefill 成本和首 token 延迟	首先是 GPU/HBM 中的 KV 状态；延长生命周期时会用 CPU DRAM，甚至外部 KV 存储	需要相同或相似 prefix；命中受 TTL、路由、并发和请求结构影响
KV cache reuse	vLLM、NVIDIA TensorRT-LLM、LMCache 都明确支持 KV cache 复用	跳过共享 prompt 的 prefill 计算，降低 TTFT 和 GPU cycles	HBM 是第一层；CPU DRAM 可做 host offload；LMCache 支持文件/块、S3、Redis/Valkey、分布式存储等二级后端	主要改善 prefill，不改善长答案 decode；KV blocks 会被 LRU 驱逐
Semantic / RAG cache	工程上存在，但公开材料里我能直接对上的，主要是 LMCache 和 serving 文档对可复用文本或 KV 的说明；语义缓存更依赖应用层实现	命中相似问题、文档片段、RAG 检索结果	向量库、CPU DRAM、NVMe SSD、对象存储，具体取决于延迟要求	相似度阈值和答案质量风险高，不能像 prefix cache 那样按完全相同前缀复用
长文档 / 代码库缓存	Google 明确把「大文档集反复查询、代码仓库分析、长视频分析」列为 explicit caching 场景；Anthropic 将长文档、coding assistants、agentic tool use 列为适用场景	降低长上下文反复传入成本	GPU/HBM + CPU DRAM + 企业 SSD，取决于缓存保留时间和并发规模	多用户隔离、权限、数据更新、缓存失效会显著增加系统复杂度

我认为缓存确实会改变 AI serving 的成本结构，但直接画等号说「缓存 = NAND」就太粗了。如果按硬件层级往下拆，更准确的结构是四层：

1. HBM / GPU memory：KV cache 第一层，延迟最低，也最贵。
2. CPU DRAM / host memory：NVIDIA TensorRT-LLM 文档提到，用 host memory offload 可以延长 KV block 的复用时间，但要在 CPU 和 GPU 之间拷贝数据。[6]
3. Enterprise NVMe SSD / local disk：适合做更大、更慢、更持久的 L2 cache，以及存放 RAG 数据、模型 offload 和热数据集。
4. 对象存储 / 分布式 KV 存储：适合跨实例共享和低频复用，但延迟、吞吐和一致性更难。

所以 AI 缓存带来的硬件需求，更像一条「HBM → DRAM → NVMe SSD → 对象存储」的分层缓存栈，单点爆发的概率较低。[5][6][7]

单位成本能降多少，取决于四个乘数

目前看到的公开证据能证明降本方向，还不能直接拿来证明每家公司的利润率。

先看文档里写明的事实：

• OpenAI 官方文档称 Prompt Caching 可降低最高 80% 延迟和最高 90% 输入 token 成本。cache hit 只对完全匹配的 prefix 生效，请求会按 prefix hash 路由到最近处理过相同 prompt 的服务器。[1]
• Anthropic 文档显示，cache writes 价格高于普通输入 token，cache reads 约为基础输入价的 10%。适用场景包括长系统提示、多样例、长文档、多轮对话和 agentic tool use。[2]
• DeepSeek 的价差更激进：V4 Flash 的 hit 价是 miss 的 2%，也就是低 98%；V4 Pro 的 hit 价约为 miss 的 0.833%，低了 99.17%。[4]
• vLLM 写明 Automatic Prefix Caching 主要省在 prefill，不会减少生成新 token 的 decode。答案很长，或者请求之间没有共享 prefix 时，收益会下降。[5]

往下做推断时，我把单位成本的变化拆成了四个乘数：

单位成本下降幅度 ≈ cache hit rate × 可缓存输入占比 × prefill 在总成本中的占比 × hit/miss 价格差

把这四项合在一起看，不同场景和厂商的分化就很具体了：

• 长系统提示、长文档、代码库、RAG、agent 多轮任务，缓存收益可能很大。
• 短问题、长输出、强个性化、实时工具调用、低重复率问题，收益会明显变小。
• 用户规模大的模型服务商，缓存池更容易覆盖高频问题，命中率更可能改善。
• 小模型服务商的命中率和基础设施摊薄能力可能不足，成本差距会被放大。

不过，公开材料只能证明缓存降低了 token 计费和 serving 延迟，证明不了 OpenAI、Anthropic、Google、DeepSeek 的真实单位毛利率。毕竟模型架构、推理集群利用率、批处理、量化、路由、产品补贴、企业折扣、免费用户比例，最后都会算进实际利润里。

受益逻辑要分成三层看

我沿着云与模型服务商、软件栈、硬件链条这三层分别看受益逻辑，各层的证据强度不在同一档。对于服务商，我接受它改善毛利的商业逻辑，但会把「印钞机」这种夸张比喻去掉。对于硬件链，我只接受按层级传导的看法，不接受某一层单独爆发的叙事。

云厂商和模型服务商

缓存命中以后，服务商可以按接近普通 token 的产品价值向客户收费，同时用更低的计算成本完成请求。材料里有人把这说成印钞机，这个比喻显然过了；但底层的商业逻辑还在，毛利率、延迟和体验都可能改善。

serving 软件栈

在这一层里，vLLM、TensorRT-LLM、LMCache 会变得更关键。LMCache 文档说，它存储可复用文本的 KV cache，让任意 serving instance 复用，从而降低 TTFT，节省 GPU cycles 和 memory。结合 vLLM 时，在多轮 QA 和 RAG 等场景下，项目方声称有 3–10 倍的 delay savings 和 GPU cycle reduction。[7]

从这些机制看，缓存能力可能演变成模型云之间的基础设施差异，其作用可能超出应用层小优化的范畴。至于 3–10 倍的收益数据，目前还是项目方自述，后续要另找独立 benchmark 和生产案例来核实。

硬件链条要分层看

硬件/公司类型	受益逻辑	证据强度	主要风险
HBM / 高端 DRAM	KV cache 第一层和推理吞吐核心资源；Micron HBM 页面称 HBM 面向 AI 与 HPC，支持 AI training 和 inference	强	已被市场充分定价，供应扩张和客户集中度影响利润
CPU DRAM / high-capacity memory	host offload、长上下文、多实例缓存、推理服务器内存容量	中强	价格弹性弱于 HBM，云厂商议价强
Enterprise NVMe SSD	模型 offload、RAG 热数据、二级 KV cache、AI training/inference 数据路径；Micron 9550 官方材料称其面向 AI workload，BaM/GIDS 场景可提升训练时间、降低 SSD/系统能耗；DeepSpeed ZeRO-Inference 可用 SSD 做智能 offload	中强	是否转化为 NAND 原厂利润，要看订单量、合约价、竞争和扩产
NAND 原厂	如果热数据集、缓存池和二级 KV storage 大规模增长，NAND 位元需求受益	中	普通 NAND 是周期品，供给扩张快，价格容易被云厂商压制
SSD 控制器 / 存储系统 / 网络存储	如果瓶颈在 IOPS、延迟、控制器、固件和分布式缓存，而非裸 NAND bit，附加值可能转移到这里	中	需要找到具体高纯度公司和财报收入项

面对这张表，我不会简单归结成「谁受益最大」。更稳妥的拆解方式是：当推理进入运营效率竞争以后，去盯缓存栈里最难被快速复制、最能落进订单和毛利率的环节。我的核查顺序是，先看云厂商有没有明确提高企业级 SSD、DRAM 和存储系统的采购，再看存储厂商的财报有没有把 AI inference、RAG、cache workload 写成需求来源，最后才看附加值落在企业 SSD、控制器、存储网络、缓存软件还是高端 DRAM。至于普通 NAND 原厂，它们可能受益，但依然带着很强的周期性。

这条判断会在哪里变弱

下面几条是我给自己留的折扣条件。只要其中任何一条成立，我都会把「缓存改写硬件需求」的预期往下降一档。

• 如果模型架构离开 Transformer KV cache，走向缓存需求更少的路线，KV cache 的受益会下降。
• 如果命中主要发生在服务商内部，不需要大量持久化存储，普通 NAND 需求会弱于上面的推演。
• 如果缓存主要停在 HBM 和 DRAM，SSD 只是冷层，NAND 的价格弹性不会那么大。
• 如果云厂商用长期合约把存储价格锁住，供应商收入增长不一定变成毛利扩张。
• 如果服务商靠更小模型、量化、batching、speculative decoding 降本，缓存只是多条降本路径之一。
• 如果行业扩产过快，NAND 仍然可能走传统周期品逻辑。

反过来，存储价格如果高到改写整机 BOM 和资本开支预算，客户也会更积极地找缓存、offload 和架构绕行。关于这种高价反噬的逻辑，我之前写在了 瓶颈定价过度会反噬 AI CapEx。

这条判断还缺的公开证据

下面列出的五点，我还没有当成已经发生的事实。如果要让前面的判断继续成立，后续还要在公开材料里盯住这些证据：

• OpenAI、Google、Anthropic、DeepSeek 是否继续公开 cache hit / miss 价差、缓存命中 token 和延迟改善。
• vLLM、TensorRT-LLM、LMCache 是否从功能变成推理集群的默认部署组件。
• 企业 SSD 厂商是否在财报里把 AI inference、RAG、KV cache、model offload 列为新增需求来源。
• NAND 合约价、enterprise SSD ASP、库存天数、capex 指引是否同步改善。
• 云厂商 AI capex 里，GPU 之外的 memory、storage、networking 占比是否上升。

参考

1. OpenAI Prompt Caching 文档，官方产品文档，可信度高；局限是只讲了 OpenAI API 的机制及价格、延迟的收益上限，不披露真实毛利率。https://platform.openai.com/docs/guides/prompt-caching
2. Anthropic Prompt Caching 文档，官方产品文档，可信度高；局限是价格和 TTL 反映的是 Anthropic 当前的产品策略，不等于行业通用成本。https://platform.claude.com/docs/en/build-with-claude/prompt-caching
3. Google Gemini Context Caching 文档，官方产品文档，可信度高；局限是 explicit/implicit caching 的成本节省与 Google 模型及计费方式绑定。https://ai.google.dev/gemini-api/docs/caching
4. DeepSeek Models & Pricing，官方价格页，可信度高；局限是价格可以调整，而且价格差不等于真实的底层成本差。https://api-docs.deepseek.com/quick_start/pricing
5. vLLM Automatic Prefix Caching 文档，开源推理框架文档，可信度较高；局限是说明框架能力，不代表所有生产部署都使用同样配置。https://docs.vllm.ai/en/latest/features/automatic_prefix_caching.html
6. NVIDIA TensorRT-LLM KV cache reuse 文档，官方技术文档，可信度高；局限是聚焦于 TensorRT-LLM 的部署路径。https://nvidia.github.io/TensorRT-LLM/advanced/kv-cache-reuse.html
7. LMCache 文档，开源项目文档，可信度中高；局限是性能收益为项目方自述，需要结合独立 benchmark 和生产案例验证。https://docs.lmcache.ai/
8. Micron 9550 SSD 产品页与 AI workload 博客，厂商官方材料，适合用来说明产品定位和厂商观点；局限是属于营销材料，性能数据需结合第三方 benchmark 和真实采购来验证。https://www.micron.com/products/storage/ssd/data-center-ssd/9550-ssd