LangGraph + MCP：构建可恢复的 Agent 工作流
状态机负责执行语义，协议负责外部能力边界
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 60
60篇技术文章
104个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
MoE 推理优化：路由、专家并行与通信
沿着一个 token 的跨 GPU 旅程理解性能瓶颈
FlashInfer：面向 LLM Serving 的可组合 GPU Kernel 库
从动态请求形状到 plan/run、JIT 与后端分派
SGLang 与 RadixAttention：跨请求复用 KV Cache
从最长前缀匹配到缓存感知调度
推测解码：从拒绝采样到工程实践
用并行验证减少大模型的串行解码轮次
大模型推理引擎对比：vLLM、SGLang 与 TensorRT-LLM
从请求路径、工作负载到可复现选型
PagedAttention 与 vLLM KV Cache 管理
一条请求的分块、映射、共享与回收
GQA 分组查询注意力：KV Cache 与模型质量的折中
从多头注意力到缓存、带宽与并行切分
FlashAttention：IO-aware 的精确注意力
从在线 Softmax 到 GPU 分块流水线
2025–2026 视频生成研究进展
从时空潜变量到可控、长时和高效生成