sglang
Subpages
-
从源码编译安装sgl-kernel
需要cmake>3.26,和一些package
-
调试精度dump-tensor
对比两套不同启动方法的每一层 hidden states 输出,找出精度差异的根源。
-
deepseek_v32部署
所有实例(Prefill 和 Decode)均需设置以下环境变量:
-
eagle参数配置
本文对 EAGLE Speculative Decoding 的核心参数、指标与整体流程进行结构化说明,并结合关键代码位置解释其实现细节。
-
sglang中的mlp
先来看一下上图经典mlp的计算:
-
qwen3next-all
缓存长度必须是 64 的整数倍。如果分叉位置是 300,则缓存位置会回退到 floor(300/64)×64=256floor(300 / 64) \times 64 = 256。
-
Retract机制
一条 input 长度逼近 KV cache 容量的请求,在 decode 阶段会触发一次看起来很费时间的 “retract” 交互。本文讲清楚 retract 到底是什么、为什么…
-
router
-
scheduler调度
当前调度版本基于sglang tag 0.5.7
-
sglang-attention
下面以llama2-7b来说,apply*chat_template是在开头加上<s>*
-
sglang-overlap
在 LLM 推理系统中,CPU 侧的调度开销(接收请求、准备 batch、处理结果)往往会拖慢 GPU 的计算效率。Mini-SGLang 通过 Overlap Schedulin…
-
sglang投机采样mtp
启动sglang时添加以下参数:
-
tbo-sbo
tbo 就是 two batch overlap,最开始由deepseek提出,主要的目标是基于deepep的实现思路,优化计算和通信的overlap
-
tool-call-parser
在 LLM 应用开发中,工具调用(Function Calling / Tool Calling)是一个核心能力。