SnapKV：用观察窗口为长提示词选择 KV Cache
从完整因果注意力里的投票与池化推导保留索引，再区分有损选择、GQA 存储、RoPE 位置和生成阶段的增长
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 101
101篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
Residual + RMSNorm：一次融合里的数值契约与数据流
从两个必须保留的输出理解残差归一化，再沿 FP32 中间值、行归约与共享内存分析融合到底省了什么
GPU 性能剖析：从 Nsight Systems 时间线到 Nsight Compute 计数器
沿一次工作负载的提交、等待和执行找到关键路径，再把内核指标转化为可验证的优化判断
QuaRot 与 SpinQuant：为什么换一个坐标系能改善低比特量化
从 Hadamard 算例到归一化与 Attention 的等价条件，再到受正交约束的旋转学习
模型量化的数值基础：Scale、Zero Point 与误差怎样进入计算
从一条离散数轴推到整数点积，理解量化粒度、累加精度和 Fake Quant 的边界
量化模型怎样验收：从参考数值到真实内核与服务质量
用严格的 CPU 检查工具串起量化合同、有效 token 计数、内核对齐和服务证据
QLoRA：冻结的 4-bit 权重怎样参与一次微调
从 NF4 编码和双重量化的存储账单，推到 LoRA 梯度、显存峰值与合并后的模型
NVFP4 与 MXFP4：4-bit 浮点如何依靠微块缩放表达真实张量
从 E2M1 编码与两级 scale 到缩放误差、分组矩阵乘和真实字节成本
LLM.int8()：异常通道为什么需要单独计算
从逐向量量化到混合精度分解，理解少数大幅度特征怎样影响整行 INT8 表示
KIVI：Key 和 Value 为什么选择不同的量化轴
从 2-bit 分组误差到 residual buffer、混合缓存注意力与真实容量预算