Sequence Parallel 与 Context Parallel：Token 维到底怎样切
从 LayerNorm Activation 分片到跨卡 Attention，厘清 SP、CP、Ring 与 All-to-All 的边界
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 62
62篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
Pipeline Parallel：Micro-batch 怎样流过 Transformer Stages
从 GPipe、1F1B 到 Interleaving，理解流水气泡、Activation 生命周期与并行组合
Tensor Parallel：怎样把一个 Transformer Layer 切到多张 GPU
从 Column/Row Parallel MLP 到 Attention、Sequence Parallel 与二维设备网格
从 Data Parallel 到 ZeRO/FSDP：训练显存到底怎样被切开
逐项计算参数、梯度、Optimizer State、Activation 与 Collective 的生命周期
W4A8：4-bit Weight 怎样喂给 8-bit Tensor Core
从 Progressive Quantization、寄存器解包到 QServe 的系统协同设计
AWQ：为什么 4-bit 权重量化要先观察 Activation
从显著通道、等价缩放到 W4A16 Kernel 与端到端 Serving 收益
SmoothQuant：把 Activation Outlier 迁移到 Weight
从等价通道缩放到 W8A8 INT8 GEMM、Q/DQ 融合与 Serving 收益
FP8 推理：E4M3、E5M2、Scale 与 Tensor Core 到底怎样配合
分清权重存储、Activation 量化、GEMM、KV Cache 与通信的五条低精度路径
torch.compile：LLM Serving 从 Python Forward 到融合 GPU Kernel
沿着 Dynamo、FX、Guards、Inductor 与 Graph Break 理解编译收益和冷启动
CUDA Graph：把动态 LLM Serving 装进可重放的静态执行图
从 Kernel Launch 开销到 Batch Bucket、静态地址与 Piecewise Capture