Mage-Flow-Turbo-CPU

Mage-Flow-Turbo-Native-Inference 是面向 Mage-Flow-Turbo 的可移植原生推理与部署栈。该仓库不训练也不修改模型权重。Python 负责配置、模型/运行时身份验证、CLI/REST 编排、生命周期控制、遥测和证据收集；实际的模型执行路径是原生的 stable-diffusion.cpp sd-cli 运行时。v1.0.0 支持规范的 Q8 GGUF 配置和 BF16 SafeTensors 配置，二者都通过同一个原生运行时。该项目不提供 Hugging Face Transformers 推理后端，也不运行 PyTorch/Transformers 推理循环。

项目冻结了模型和运行时身份。在真实推理之前会验证精确的 SHA-256 身份。Git 仓库不包含模型权重。规范的 Q8 配置使用 GGUF Q8_0 扩散模型、Qwen3-VL-4B GGUF Q4_K_M 文本编码器、SafeTensors VAE 以及固定版本的 stable-diffusion.cpp sd-cli。BF16 SafeTensors 配置使用 BF16 SafeTensors 扩散模型、相同的 Qwen GGUF 文本编码器、SafeTensors VAE，以及相同的固定版本原生运行时。

保留的严格 2×2 v1.0.0 测量涵盖两种配置在 Kaggle CPU 和 Kaggle T4/T4x2 cuda0 上的表现。CPU 策略使用 Kaggle Accelerator=None、后端严格为 cpu、仅使用预构建的 CPU sd-cli、不回退到 CUDA，并带有主机内存和进程 RSS 遥测。T4/T4x2 策略要求 T4 或 T4x2 主机，仅使用物理 GPU 插槽 0，设置 CUDA_DEVICE_ORDER=PCI_BUS_ID 和 CUDA_VISIBLE_DEVICES=0，并使用有效推理后端 cuda0，不使用 cuda1、多 GPU 拆分、自动适配或 CPU 推理回退。参考服务默认绑定到 127.0.0.1，并开放 GET /healthz、GET /readyz、GET /v1/info、POST /v1/images/generate 和 GET /v1/artifacts/<png> 等 REST 端点。Kaggle 集成将预构建的 CPU/CUDA 运行时作为 Kaggle Datasets 挂载，并将 Mage-Flow、Qwen 和 VAE 输入作为 Kaggle Models。