torch.compile：LLM Serving 从 Python Forward 到融合 GPU Kernel
沿着 Dynamo、FX、Guards、Inductor 与 Graph Break 理解编译收益和冷启动
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 104
104篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
CUDA Graph：把动态 LLM Serving 装进可重放的静态执行图
从 Kernel Launch 开销到 Batch Bucket、静态地址与 Piecewise Capture
Wide EP：当 MoE Expert Parallel 横跨几十张 GPU
从 Attention DP、跨节点 All-to-All 到 P/D 两套并行布局
DeepEP：把 MoE 的 Dispatch 与 Combine 做成专用数据面
理解变长通信、两级互联、低延迟路径、FP8 传输与计算重叠
MoE 负载均衡：从 Router 偏置到 Expert 副本与 EPLB
分清训练时均衡、推理时重排，以及不改变 Top-k 语义的热点分流
Expert Parallel：MoE Token 为什么要两次穿过 GPU 网络
从 EP 分组、All-to-All 通信量到 Prefill/Decode 的并行选择
分布式 LLM 推理故障恢复：一条流式请求怎样活下来
从健康检测、请求迁移到 KV 状态、优雅下线与过载保护
LLM 推理容量规划：从请求 Trace 推到 GPU 数量
把 ISL、OSL、KV Cache、P/D Goodput 与扩容提前量放进同一张账
NVIDIA Dynamo：把多套推理引擎组织成一个系统
从请求路由、KV 状态到 P/D 扩缩容与 Kubernetes 编排
DSpark：用置信度决定推测解码该验证多远
从半自回归草稿、前缀存活概率到 SGLang Ragged Verification