QuaRot 与 SpinQuant：为什么换一个坐标系能改善低比特量化
从 Hadamard 算例到归一化与 Attention 的等价条件，再到受正交约束的旋转学习
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 98
98篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
模型量化的数值基础：Scale、Zero Point 与误差怎样进入计算
从一条离散数轴推到整数点积，理解量化粒度、累加精度和 Fake Quant 的边界
量化模型怎样验收：从参考数值到真实内核与服务质量
用严格的 CPU 检查工具串起量化合同、有效 token 计数、内核对齐和服务证据
QLoRA：冻结的 4-bit 权重怎样参与一次微调
从 NF4 编码和双重量化的存储账单，推到 LoRA 梯度、显存峰值与合并后的模型
NVFP4 与 MXFP4：4-bit 浮点如何依靠微块缩放表达真实张量
从 E2M1 编码与两级 scale 到缩放误差、分组矩阵乘和真实字节成本
LLM.int8()：异常通道为什么需要单独计算
从逐向量量化到混合精度分解，理解少数大幅度特征怎样影响整行 INT8 表示
KIVI：Key 和 Value 为什么选择不同的量化轴
从 2-bit 分组误差到 residual buffer、混合缓存注意力与真实容量预算
GPTQ：量化一个权重之后怎样补偿输出误差
从输入相关的二次重建目标推到约束更新、Cholesky 与低位权重执行
Tokenizer 与 BPE：一段文本怎样成为模型的输入
从词表、合并顺序和 UTF-8 字节，理解上下文长度、聊天模板与 Prefix Cache 的共同边界
FlexAttention：Attention 规则怎样变成可跳过的 GPU 工作
沿着 score_mod、mask_mod 与 BlockMask，理解规则组合、编译、块稀疏和 Decode 的位置边界