Attention–FFN 解耦：一层 Transformer 为什么要跨两类 GPU Pool
从 KV 状态、MoE Expert 权重到逐层 Activation 传输，理解 AF Disaggregation 的容量与通信边界
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 83
83篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
DFlash：Block Diffusion 怎样一次生成一整段 Draft
从目标隐藏状态、并行块预测到前缀验证，理解扩散式推测解码的收益边界
结构化生成：Grammar 怎样约束每一个 Token
从 JSON Schema、Regex 与 CFG 到 Token Mask，理解 Constrained Decoding 的正确性与性能边界
GPU 互联拓扑：数据怎样从 HBM 走到另一张 GPU 与远端 NIC
从板内互联、PCIe 层级到跨节点 RDMA，建立可验证的数据路径模型
长请求治理：Chunked Prefill 之后，KV Cache 怎样避免被长输出占满
从输入公平调度、动态 KV 准入到高水位保护，理解长尾请求的完整生命周期
Zero-Bubble Pipeline Parallel：为什么 Weight Gradient 可以延后计算
从 Backward 依赖拆分、显存生命周期到优化器版本边界，理解接近零气泡的同步流水线
P/D 弹性：扩容决定发出后，GPU 为什么还不能接请求
从 SLO 控制环、权重分发与编译缓存到 Worker Ready Gate，拆解分离式推理的容量生效时间
Multi-LoRA Serving：一份 Base Model 怎样服务不同 Adapter
从低秩增量、异构批处理到 Adapter Cache，理解多租户推理的计算与隔离边界
Collective Communication：AllReduce、AllGather、ReduceScatter 与 All-to-All
从 Tensor 所有权和通信量出发，理解分布式训练中的数据重排
RLHF/GRPO 系统数据流：一次训练迭代里四类模型怎样协作
从 Policy Snapshot、Rollout 与 Reward，到 Advantage、参数更新和一致性边界