NVFP4 与 MXFP4：4-bit 浮点如何依靠微块缩放表达真实张量
从 E2M1 编码与两级 scale 到缩放误差、分组矩阵乘和真实字节成本
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 104
104篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
LLM.int8()：异常通道为什么需要单独计算
从逐向量量化到混合精度分解，理解少数大幅度特征怎样影响整行 INT8 表示
KIVI：Key 和 Value 为什么选择不同的量化轴
从 2-bit 分组误差到 residual buffer、混合缓存注意力与真实容量预算
GPTQ：量化一个权重之后怎样补偿输出误差
从输入相关的二次重建目标推到约束更新、Cholesky 与低位权重执行
Tokenizer 与 BPE：一段文本怎样成为模型的输入
从词表、合并顺序和 UTF-8 字节，理解上下文长度、聊天模板与 Prefix Cache 的共同边界
FlexAttention：Attention 规则怎样变成可跳过的 GPU 工作
沿着 score_mod、mask_mod 与 BlockMask，理解规则组合、编译、块稀疏和 Decode 的位置边界
DPO：成对偏好怎样直接改变语言模型的概率
从 KL 正则与奖励差推导 pair loss，再追踪序列 log probability、Reference 与数据边界
WAR：Agent RL 的 Rollout 为什么需要两层负载感知
把同步训练的长尾、历史后缀草稿与 KV 局部性放在同一轮轨迹生成中，理解接受长度为何不等于加速
Jev：当模型不再生成文字，而是为软件做决策
从 Choice、Score、Noul 到概率校准与执行边界，理解结构化决策模型解决了什么，又没有解决什么
FP4 Attention：矩阵乘快了以后，概率、Scale 与数据交接为什么成了瓶颈
沿 Direct-P 的概率编码和 Blackwell TMEM 生命周期，区分非因果前向、单次更新与长期训练的证据