PDL 详解:让相邻 GPU kernel 首尾重叠——原理、写法、各框架实践与踩坑总结
面向刚入门的推理框架开发者,从"decode 阶段 kernel 之间的空档"讲起,说清 Programmatic Dependent Launch(PDL)的准确语义;在 B300 上把 PDL 的每个特性(放行位置、等待语义、链条、跨 stream 事件、CUDA Graph 的三种端口、资源限制)逐项实测,给出 CUDA C++、PyTorch、Triton、CuTe DSL 四套可运行的例子和数据;精读 CUDA 官方文档、CuTe DSL 教程和 CUTLASS 的官方写法,梳理二十多个推理框架和计算库的用法与默认值,并把各家踩过的坑整理成可以直接照做的规则和检查清单。