LLM 推理容量规划:从请求 Trace 推到 GPU 数量
把 ISL、OSL、KV Cache、P/D Goodput 与扩容提前量放进同一张账
AI Infra · Systems · Performance
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导,也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 107
Latest writing
把 ISL、OSL、KV Cache、P/D Goodput 与扩容提前量放进同一张账
从请求路由、KV 状态到 P/D 扩缩容与 Kubernetes 编排
从半自回归草稿、前缀存活概率到 SGLang Ragged Verification
从内存注册、元数据握手到异步 P/D KV Cache 交接
从分离式推理、分布式缓存池到缓存感知调度与高速传输
从阶段干扰、每 GPU Goodput 到带宽感知 Placement
从重复计算、每 Token 显存到 MHA/GQA/MQA 与缓存生命周期
从 TMA、WGMMA、Warp Specialization 到更准确的 FP8 Attention
从联合低秩压缩、矩阵吸收到 Decoupled RoPE 与 FlashMLA 执行模式
从分块 Online Softmax 到 KV 通信与本地 Attention 计算重叠