Tokenizer 与 BPE：一段文本怎样成为模型的输入
从词表、合并顺序和 UTF-8 字节，理解上下文长度、聊天模板与 Prefix Cache 的共同边界
AI Infra · Systems · Performance
拆解复杂系统，
记录工程实践。
关注大模型推理、GPU 性能优化与云原生基础设施。这里沉淀原理推导，也记录真实工程里的取舍。
$ focus --on
LLM inference systems
GPU kernel optimization
Cloud native infrastructure
$ posts --count 90
90篇技术文章
24个技术主题
2021开始记录
Open持续更新
Latest writing
最新文章
FlexAttention：Attention 规则怎样变成可跳过的 GPU 工作
沿着 score_mod、mask_mod 与 BlockMask，理解规则组合、编译、块稀疏和 Decode 的位置边界
DPO：成对偏好怎样直接改变语言模型的概率
从 KL 正则与奖励差推导 pair loss，再追踪序列 log probability、Reference 与数据边界
WAR：Agent RL 的 Rollout 为什么需要两层负载感知
把同步训练的长尾、历史后缀草稿与 KV 局部性放在同一轮轨迹生成中，理解接受长度为何不等于加速
Jev：当模型不再生成文字，而是为软件做决策
从 Choice、Score、Noul 到概率校准与执行边界，理解结构化决策模型解决了什么，又没有解决什么
FP4 Attention：矩阵乘快了以后，概率、Scale 与数据交接为什么成了瓶颈
沿 Direct-P 的概率编码和 Blackwell TMEM 生命周期，区分非因果前向、单次更新与长期训练的证据
Vertumnus：长请求应该占几张 GPU，为什么要连缓存一起调度
从剩余 Attention 工作量出发，把请求路由、Context Parallel worker 重组与 Prefix Cache 可用性连成一条控制链
Triton GEMM：从一个输出 Tile 到地址、边界与数据复用
沿一段分块矩阵乘推导 program、stride 和 mask，再解释累加精度与调优为什么必须一起考虑
序列打包与变长 Attention：少算 Padding 之后，怎样保持训练目标不变
从 cu_seqlens 和段内可见性追踪位置、shifted labels 与有效 target 分母，区分布局优化和训练语义变化
混合精度训练：从 FP16/BF16 的数值边界到一次正确的参数更新
区分计算与持久状态的精度，推导 loss scaling，并沿梯度累积、裁剪和跳步追踪训练目标