KV Cache：自回归推理为什么必须保存历史状态
从重复计算、每 Token 显存到 MHA/GQA/MQA 与缓存生命周期
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 62
62篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
FlashAttention-3：用异步流水榨出 Hopper 的 Attention 性能
从 TMA、WGMMA、Warp Specialization 到更准确的 FP8 Attention
MLA：为什么一份 Latent 可以代替多头 KV Cache
从联合低秩压缩、矩阵吸收到 Decoupled RoPE 与 FlashMLA 执行模式
Ring Attention：把超长序列沿设备环流动
从分块 Online Softmax 到 KV 通信与本地 Attention 计算重叠
FlashAttention-2：从 IO-aware 到更好的并行划分
为什么同一个精确注意力算法，还能通过 Thread Block 与 Warp 重排再快一倍
DSpark：用置信度决定推测解码该验证多远
从半自回归草稿、前缀存活概率到 SGLang Ragged Verification
EAGLE：为什么推测解码要预测 Feature
从 Feature Uncertainty、Advanced Token 到树形草稿与无损验证
Chunked Prefill：长 Prompt 为什么要切片执行
从 Prefill/Decode 干扰到 Token Budget 与 Stall-Free Scheduling
Continuous Batching：为什么 Batch 可以动态变化
从请求粒度到 Iteration-Level Scheduling，理解生成式推理的批次重组
NVFP4 KV Cache：Blackwell 上的 4-bit 缓存量化
从 E2M1 与双层缩放到容量、内核和精度验证