李龙飞
把系统性能
变成可验证的数字

LLM 推理调度器 —— 从零手写 vLLM 的核心调度机制：分块 KV 管理、连续批处理、前缀缓存、DeepSeek MLA 潜空间压缩与投机解码。挂在 flowcoro 旁边的独立推理仓，不改动 flowcoro 本身。

• 核心组件：BlockManager（分块 KV 管理）/ Scheduler（连续批处理）/ Engine（引擎主循环），外加 nn::{RoPE, MLA, Speculative} 算子层。
• 移植自 kun-cellular：多头低秩潜空间注意力（DeepSeek MLA）与投机解码，实现跨项目的算法复用。
• 不是玩具：内置 Byte-level Tokenizer（词表 259 = 3 特殊标记 + 256 单字节，零 OOV）与真实多层 MLA Transformer 前向，配 404KB 真实预训练权重。
• 可交互：chat_cli 逐字流式生成 + Web 对话界面，非静态 demo。

• MLA 显存压缩：KV 峰值块 24 → 8，显存占块降至原来的 1/3。
• 投机批处理加速：TTFT 下降 65.6%，TPOT 323μs → 112μs，生成提速近 3 倍。
• Paged vs naive：峰值块数减半（48 → 24），前缀缓存命中可测（94 hits）。
• 调度器不改动底座：全部机制在推理仓内自洽实现，FlowCoro 仅作为调度底座被复用 —— 用同一套协程运行时同时驱动车规管线与 LLM 推理。

分布式训练并行调度内核 —— 从零手写 DP / 张量并行 / 流水线并行三套并行策略，把「与单进程参考逐 bit 全等」当作唯一的正确性验收线。

• 位级对账（bit-parity）：所有并行切分都要求与单进程参考逐 float 相等 —— 排除了浮点累加顺序的解释空间，这是分布式训练里最硬的正确性标准。
• 异步 1F1B 流水线：接入 FlowCoro 协程运行时，跨 Stage 用 BoundedChannel（容量 2）做流量控制与反压，通道满/空走 co_await flowcoro::yield() 协程级让出，消灭线程自旋。
• GPU 侧真发射：手写 PTX 9.0 汇编 GEMM kernel，经 CUDA Driver API 动态 JIT 装载；严格用 mul.rn.f32 + add.rn.f32 分步舍入规避 FMA 单次舍入漂移，输出与 CPU 参考逐 bit 全等。
• 门禁锁死：require_gpu=true 禁止静默降级到 CPU；用硬件发射计数核准（gpu_launches=64/64）证明真在 GPU 核上跑了。
• 全 Stage 独立 Stream：每 Stage 独占 CudaStream + Pinned DMA 往返，解除全局互斥锁。

• 1F1B vs GPipe：峰值未回传激活 10 vs 32；同时诚实标注 —— Tf=Tb 且 M 不大时不保证 1F1B makespan 更短（span 236 vs 226）。
• 明确边界：反向计算仍在 CPU、进程组为单机多线程模拟（非 NCCL）、PTX 指定 sm_75 通用 ISA。README 里逐条写清了未做项。