DeepSeek V3.2 稀疏注意力：Lightning Indexer 与 Top-k 选择
从 MLA 全量访问到内容相关的细粒度稀疏化
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 104
104篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
FairBatching：面向 LLM 推理的公平批次形成
从延迟契约、进度余量到 Prefill Admission Budget
异步连续批处理：CPU/GPU 重叠与正确同步
沿着相邻两个 Engine Step 拆解调度流水线
推理模型的推测解码：Thinking Budget 与 EAGLE-3
把生成工作量与执行效率分开优化
LangGraph + MCP：构建可恢复的 Agent 工作流
状态机负责执行语义，协议负责外部能力边界
MoE 推理优化：路由、专家并行与通信
沿着一个 token 的跨 GPU 旅程理解性能瓶颈
FlashInfer：面向 LLM Serving 的可组合 GPU Kernel 库
从动态请求形状到 plan/run、JIT 与后端分派
SGLang 与 RadixAttention：跨请求复用 KV Cache
从最长前缀匹配到缓存感知调度
推测解码：从拒绝采样到工程实践
用并行验证减少大模型的串行解码轮次
大模型推理引擎对比：vLLM、SGLang 与 TensorRT-LLM
从请求路径、工作负载到可复现选型