sglang

Subpages

  • 从源码编译安装sgl-kernel

    需要cmake>3.26,和一些package

  • 调试精度dump-tensor

    对比两套不同启动方法的每一层 hidden states 输出,找出精度差异的根源。

  • deepseek_v32部署

    所有实例(Prefill 和 Decode)均需设置以下环境变量:

  • eagle参数配置

    本文对 EAGLE Speculative Decoding 的核心参数、指标与整体流程进行结构化说明,并结合关键代码位置解释其实现细节。

  • sglang中的mlp

    先来看一下上图经典mlp的计算:

  • qwen3next-all

    缓存长度必须是 64 的整数倍。如果分叉位置是 300,则缓存位置会回退到 floor(300/64)×64=256floor(300 / 64) \times 64 = 256。

  • Retract机制

    一条 input 长度逼近 KV cache 容量的请求,在 decode 阶段会触发一次看起来很费时间的 “retract” 交互。本文讲清楚 retract 到底是什么、为什么…

  • router

  • scheduler调度

    当前调度版本基于sglang tag 0.5.7

  • sglang-attention

    下面以llama2-7b来说,apply*chat_template是在开头加上<s>*

  • sglang-overlap

    在 LLM 推理系统中,CPU 侧的调度开销(接收请求、准备 batch、处理结果)往往会拖慢 GPU 的计算效率。Mini-SGLang 通过 Overlap Schedulin…

  • sglang投机采样mtp

    启动sglang时添加以下参数:

  • tbo-sbo

    tbo 就是 two batch overlap,最开始由deepseek提出,主要的目标是基于deepep的实现思路,优化计算和通信的overlap

  • tool-call-parser

    在 LLM 应用开发中,工具调用(Function Calling / Tool Calling)是一个核心能力。