训练数据管线：一个 Batch 怎样在 CPU 与 GPU 之间接力
沿 DataLoader 的取样、分片、预取和传输，理解吞吐瓶颈与训练语义为何需要一起检查
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 104
104篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
PyTorch 显存分配：从 Tensor 生命周期到 OOM 快照
区分已分配、等待复用和缓存中的显存，再沿分配事件定位真正需要改变的生命周期与布局
Mamba-2 与 SSD：循环状态怎样变成分块矩阵乘
从一次状态更新展开因果矩阵，再推导块内计算、边界状态与固定大小推理缓存
SnapKV：用观察窗口为长提示词选择 KV Cache
从完整因果注意力里的投票与池化推导保留索引，再区分有损选择、GQA 存储、RoPE 位置和生成阶段的增长
Residual + RMSNorm：一次融合里的数值契约与数据流
从两个必须保留的输出理解残差归一化，再沿 FP32 中间值、行归约与共享内存分析融合到底省了什么
GPU 性能剖析：从 Nsight Systems 时间线到 Nsight Compute 计数器
沿一次工作负载的提交、等待和执行找到关键路径，再把内核指标转化为可验证的优化判断
QuaRot 与 SpinQuant：为什么换一个坐标系能改善低比特量化
从 Hadamard 算例到归一化与 Attention 的等价条件，再到受正交约束的旋转学习
模型量化的数值基础：Scale、Zero Point 与误差怎样进入计算
从一条离散数轴推到整数点积，理解量化粒度、累加精度和 Fake Quant 的边界
量化模型怎样验收：从参考数值到真实内核与服务质量
用严格的 CPU 检查工具串起量化合同、有效 token 计数、内核对齐和服务证据
QLoRA：冻结的 4-bit 权重怎样参与一次微调
从 NF4 编码和双重量化的存储账单，推到 LoRA 梯度、显存峰值与合并后的模型