router
Subpages
-
router智能调度和负载优化
Decode Workers (D-nodes)
-
sglang在pd分离下的router请求
本文档详细说明 SGLang Router 在 Prefill-Decode (PD) 分离模式下,如何将客户端请求转换并分发到 prefill 和 decode 服务器。
Decode Workers (D-nodes)
本文档详细说明 SGLang Router 在 Prefill-Decode (PD) 分离模式下,如何将客户端请求转换并分发到 prefill 和 decode 服务器。