Wanli Jiang

PDL 详解:让相邻 GPU kernel 首尾重叠——原理、写法、各框架实践与踩坑总结

面向刚入门的推理框架开发者,从"decode 阶段 kernel 之间的空档"讲起,说清 Programmatic Dependent Launch(PDL)的准确语义;在 B300 上把 PDL 的每个特性(放行位置、等待语义、链条、跨 stream 事件、CUDA Graph 的三种端口、资源限制)逐项实测,给出 CUDA C++、PyTorch、Triton、CuTe DSL 四套可运行的例子和数据;精读 CUDA 官方文档、CuTe DSL 教程和 CUTLASS 的官方写法,梳理二十多个推理框架和计算库的用法与默认值,并把各家踩过的坑整理成可以直接照做的规则和检查清单。

LLM 推理框架的 Autotune 设计指南:各家最佳实践与可落地的设计要点

面向刚入门的推理框架开发者,把 TensorRT-LLM、FlashInfer、vLLM、SGLang、PyTorch、Triton、Helion、TensorRT、XLA、TVM、DeepGEMM、NCCL 等系统里的 autotune 做法放在一起对照,整理成"什么时候选、怎么分桶、怎么测准、怎么保证对、多卡怎么一致、结果怎么存"十个设计问题,并给出新增可调算子与新增调优策略的步骤和检查清单。