Triton GEMM：从一个输出 Tile 到地址、边界与数据复用
沿一段分块矩阵乘推导 program、stride 和 mask，再解释累加精度与调优为什么必须一起考虑
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 83
83篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
序列打包与变长 Attention：少算 Padding 之后，怎样保持训练目标不变
从 cu_seqlens 和段内可见性追踪位置、shifted labels 与有效 target 分母，区分布局优化和训练语义变化
混合精度训练：从 FP16/BF16 的数值边界到一次正确的参数更新
区分计算与持久状态的精度，推导 loss scaling，并沿梯度累积、裁剪和跳步追踪训练目标
RoPE：相对位置怎样进入 Attention，长上下文又改变了什么
从二维旋转与多频率相位，推导位置插值、基数调整以及 KV Cache 的一致性边界
Roofline：从计算量、数据流量到可信的 GPU 性能判断
推导算术强度与两类资源上限，再用 GEMM、缓存层级和串行阶段解释性能测量的边界
Activation Checkpointing：反向传播需要的张量，何时保存、何时重算
沿着梯度依赖推导分段重计算，理解显存收益、执行等价性与并行训练中的真实代价
NCCL 内部机制：一次 AllReduce 如何变成拓扑图、Channel 与 GPU Kernel
沿着 NCCL 2.31.2 的真实执行路径，理解调优、传输与故障诊断
多模态 Serving：图片进入 LLM 之前发生了什么
拆解 Media I/O、Processor、Encoder、Connector、Embedding Cache 与语言模型调度
GPUDirect RDMA：网卡如何直接访问 GPU Memory
从 PCIe BAR、内存注册与 rkey 到有序完成和可恢复数据面
Program-Aware Serving：Agent 等待工具时，GPU 状态该放在哪里
从 Call 依赖、PLAS/ATLAS 调度到 KV Preserve、Swap 与 Recompute，理解 Agent 工作流的推理数据面