TG咨询选推理硬件时，先别把“显存总量”当作唯一指标。AI推理开发环境的GPU显存规划，要同时看模型权重、KV Cache、并发请求和运行时开销。单卡能装下目标模型且并发要求适中，通常更省配置和排障时间；单卡放不下，或需要更高吞吐，才进一步评估多卡。
先算清显存花在哪里
推理显存主要由模型权重、KV Cache、临时张量及框架开销构成。以 7B 参数模型为例，若权重采用 FP16/BF16，每个参数约占 2 字节，权重本身约需 14GB（约 13GiB）；这还不包含运行时空间。若采用 4-bit 量化，权重理论占用约降至四分之一，但量化元数据、缓存和算子实现会增加额外开销，实际占用不能只按理论值估算。
长上下文和多路并发往往让 KV Cache 成为关键变量。它大致随层数、并发序列数、上下文长度及缓存精度增长。相同模型在短对话和长文档问答中，显存峰值可能明显不同；因此，AI推理开发环境的GPU显存规划不能只依据模型参数量。
单卡大显存与多卡分摊，各适合什么情况
| 方案 | 优势 | 限制与适用条件 |
|---|---|---|
| 单卡大显存 | 部署链路简单，模型和缓存集中在一张卡上，通常更容易调试和监控。 | 卡的显存容量构成上限；适合模型可完整装入、并发规模可控的开发或服务。 |
| 多卡张量并行 | 可将模型权重切分到多张卡，容纳单卡放不下的模型，也可能提升计算吞吐。 | 卡间需交换数据，通信和框架配置更复杂；实际速度取决于互联、模型结构及批量。 |
| 多卡数据并行 | 各卡运行模型副本，可分担不同请求，提高总体处理能力。 | 每张卡通常都要放一份模型权重，显存不会因卡数增加而合并，不能解决单卡装不下模型的问题。 |
多卡并非把显存容量直接相加即可使用。张量并行（Tensor Parallelism）会拆分模型计算，但仍有通信成本；若卡间互联带宽有限，增加 GPU 数量未必带来同比例加速。数据并行则主要扩展请求处理能力，不是扩展单个模型副本的可用显存。
按部署目标做选择
模型能放进单卡时
优先测试单卡方案，尤其是开发、验证或并发不高的场景。保留一部分显存给 KV Cache 和运行时，不要按“权重刚好塞满”来选卡。需要更高吞吐时，可以再比较量化、连续批处理和多卡数据并行的效果。
模型单卡放不下时
先确认推理框架支持所选模型的张量并行，再核对 GPU 数量、显存容量与卡间连接。若主要目标是长上下文或高并发，也应先测试降低缓存精度、缩短最大上下文或限制并发的效果；这些调整可能比扩卡更直接，但会影响输出精度、请求长度或吞吐。
用一轮可复现测试定容量
- 固定测试条件：记录模型版本、权重精度、最大输入与输出长度、并发数及推理框架配置。
- 从小负载开始：先单请求预热，再逐步提高并发和上下文长度，观察显存峰值、延迟及是否出现显存不足。
- 比较候选方案：在相同请求集和生成设置下，分别测试单卡、量化或多卡配置；关注吞吐与延迟，不只看显存占用。
- 留出余量：根据重复测试中的峰值为运行时波动预留空间。预留比例没有通用固定值，需结合框架、缓存策略和负载变化确定。
这套流程能把 AI推理开发环境的GPU显存规划从纸面估算落到目标负载上。最终判断是：单卡满足模型、上下文和并发需求时，优先选单卡大显存以降低复杂度；确实装不下或吞吐不足，再用多卡，并明确采用张量并行还是数据并行。
常见问题
显存容量相同，为什么实际能跑的并发不同？
模型精度、上下文长度、KV Cache 管理方式和推理框架占用都会影响可用空间，应以目标负载实测为准。
量化后显存一定能减少到理论值吗？
不一定。量化权重之外还有元数据、缓存和临时空间，实际占用取决于量化方法与运行时实现。
两张显存较小的卡能替代一张大显存卡吗？
仅在框架支持模型切分且通信条件合适时，张量并行才可能让模型跨卡运行；数据并行通常不会合并单个副本的显存。
开发阶段应该预留多少显存？
没有适用于所有模型和框架的固定比例。用最大上下文、目标并发和实际推理配置压测，并为峰值波动留出余量。