SwiGLU：三次投影的门控结构与反向传播
从逐 token 的通道变换推导 SwiGLU 前后向，区分参数预算、逐元素融合与 Tensor Parallel 配对
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 107
107篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
融合 LM Head 与交叉熵：不保存整张 Logits 怎样仍算对损失和梯度
从词表投影的张量寿命出发，推导稳定归一化、分块梯度与提前反向计算的接口边界
AdamW：梯度怎样变成参数更新，优化器状态又保存了什么
从梯度的指数移动平均推导偏差修正与解耦衰减，再追踪逐参数步数、显存和断点恢复
训练数据管线：一个 Batch 怎样在 CPU 与 GPU 之间接力
沿 DataLoader 的取样、分片、预取和传输，理解吞吐瓶颈与训练语义为何需要一起检查
PyTorch 显存分配：从 Tensor 生命周期到 OOM 快照
区分已分配、等待复用和缓存中的显存，再沿分配事件定位真正需要改变的生命周期与布局
Mamba-2 与 SSD：循环状态怎样变成分块矩阵乘
从一次状态更新展开因果矩阵，再推导块内计算、边界状态与固定大小推理缓存
SnapKV：用观察窗口为长提示词选择 KV Cache
从完整因果注意力里的投票与池化推导保留索引，再区分有损选择、GQA 存储、RoPE 位置和生成阶段的增长
Residual + RMSNorm：一次融合里的数值契约与数据流
从两个必须保留的输出理解残差归一化，再沿 FP32 中间值、行归约与共享内存分析融合到底省了什么
GPU 性能剖析：从 Nsight Systems 时间线到 Nsight Compute 计数器
沿一次工作负载的提交、等待和执行找到关键路径，再把内核指标转化为可验证的优化判断
QuaRot 与 SpinQuant：为什么换一个坐标系能改善低比特量化
从 Hadamard 算例到归一化与 Attention 的等价条件，再到受正交约束的旋转学习