定价
目录尚未确认完整价格档位，请到官网查看当前额度、限制及计费方式。
访问官网价格与限制可能变化，请以官网为准，并确认币种、付款周期、最低席位数和用量上限。
功能特性
动态切换预填充与解码角色
切换角色时无需重载模型权重
通过 NIXL 传输 KV 数据
支持单 GPU 部署
支持多节点部署
支持流式或非流式聊天请求
按延迟情况决定请求准入
可故障转移到热备路由器
用户评论
还没有评论，来分享你的使用体验吧
Narwhal – LLM serving that moves GPUs between prefill/decode in seconds
新上架
Show HN：Narwhal – 可在数秒内在预填充/解码之间迁移 GPU 的 LLM 服务