vLLM V1 EngineCore：引擎进程与执行核心的解耦
沿一次请求理解 Client、Scheduler、KV Cache 与 GPU Worker
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 87
87篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
FlashInfer-Bench：AI 生成 GPU Kernel 的评测与上线边界
从算子契约、真实 Workload 到运行时替换
QuantSpec：分层量化 KV Cache 的自推测解码
用同一份位平面同时服务 INT4 草稿与 INT8 验证
DeepSeek V3.2 稀疏注意力：Lightning Indexer 与 Top-k 选择
从 MLA 全量访问到内容相关的细粒度稀疏化
FairBatching：面向 LLM 推理的公平批次形成
从延迟契约、进度余量到 Prefill Admission Budget
异步连续批处理：CPU/GPU 重叠与正确同步
沿着相邻两个 Engine Step 拆解调度流水线
推理模型的推测解码：Thinking Budget 与 EAGLE-3
把生成工作量与执行效率分开优化
LangGraph + MCP：构建可恢复的 Agent 工作流
状态机负责执行语义，协议负责外部能力边界
MoE 推理优化：路由、专家并行与通信
沿着一个 token 的跨 GPU 旅程理解性能瓶颈
FlashInfer：面向 LLM Serving 的可组合 GPU Kernel 库
从动态请求形状到 plan/run、JIT 与后端分派