speculative-decoding-lab

Speculative Decoding Lab 是一個動手實現和基準測試的專案，用於理解大語言模型推理中的推測解碼。該倉庫在多個抽象層次上探索推測解碼：標準的自迴歸基線、從零實現的草稿並驗證解碼、Hugging Face 輔助生成，以及 vLLM 推測解碼。其目標不僅是演示推測解碼如何工作，還要使用延遲、吞吐量、接受率、每個驗證步驟生成的 token 數和端到端加速比等指標，衡量它何時以及為何能提升推理效能。開發在啟用 NVIDIA GPU 加速的 WSL2 下進行，主要環境為 Python 3.13、PyTorch、Hugging Face Transformers 和 CUDA。vLLM 儲存在單獨的環境中，以保留其已驗證的 PyTorch 和 CUDA 依賴棧。