llm-d：Kubernetes 原生分布式 LLM 推理栈
沿一条请求理解智能路由、KV Cache 与 Prefill/Decode 解耦
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 62
62篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
MoE 与推测解码：计算、通信和接受率的联合优化
从专家散射看清为什么验证更多 token 可能反而更慢
SpecForge：把 EAGLE3 从训练样本交付到 SGLang
理解特征对齐、Training-Time Test 与草稿模型的部署契约
vLLM Model Runner V2：GPU-native 与 async-first 的执行核心
从稳定状态表到无 CPU 同步的 CUDA Stream
FlashInfer Sorting-Free Sampling：无需显式排序的 GPU 采样
从目标分布到 Dual Pivot Rejection Sampling
vLLM V1 EngineCore：引擎进程与执行核心的解耦
沿一次请求理解 Client、Scheduler、KV Cache 与 GPU Worker
FlashInfer-Bench：AI 生成 GPU Kernel 的评测与上线边界
从算子契约、真实 Workload 到运行时替换
QuantSpec：分层量化 KV Cache 的自推测解码
用同一份位平面同时服务 INT4 草稿与 INT8 验证
DeepSeek V3.2 稀疏注意力：Lightning Indexer 与 Top-k 选择
从 MLA 全量访问到内容相关的细粒度稀疏化
FairBatching：面向 LLM 推理的公平批次形成
从延迟契约、进度余量到 Prefill Admission Budget