speculative-decoding-lab

Speculative Decoding Lab 是一个动手实现和基准测试的项目，用于理解大语言模型推理中的推测解码。该仓库在多个抽象层次上探索推测解码：标准的自回归基线、从零实现的草稿并验证解码、Hugging Face 辅助生成，以及 vLLM 推测解码。其目标不仅是演示推测解码如何工作，还要使用延迟、吞吐量、接受率、每个验证步骤生成的 token 数和端到端加速比等指标，衡量它何时以及为何能提升推理性能。开发在启用 NVIDIA GPU 加速的 WSL2 下进行，主要环境为 Python 3.13、PyTorch、Hugging Face Transformers 和 CUDA。vLLM 保存在单独的环境中，以保留其已验证的 PyTorch 和 CUDA 依赖栈。