取出指定字段 例如对于 1234{ "abc": "123", "def": [{ "111": "..." }, { "222": "..." }] } 可以通过 jq '.def[0]' test.json 取出数组第一个元素： 1# 输出: {"111":"..."} 常用取值方式： 1234567891011# 取出单个字段 jq '.abc' test.json # "123" # 取出嵌套字段 jq '.def[0]."111"' test.json # "..." # 取出数组所有元素 jq '.def[]' test.json # -c 参数压缩输出（单行） jq -c '.def[0]' test.json > output.json 把当前内容放到一个结构体里构成一个新的json 假如我们已经有了一个： 1234[ { "role": "system", "content": "有用的助手" }, { "role": "user", "content": "用户: halo" } ] 希望把上面的内容包装 ...

Qwen3-Next Piecewise CUDA Graph 支持实现技术文档 文档信息 项目 说明 目标 详细分析 commit d64bf6c 如何为 Qwen3-Next 模型添加 Piecewise CUDA Graph 支持 Commit d64bf6c6ce703389cbeaaa44fe5ee3c699397d0d PR #13081 日期 2025-11-25 1. 概述 1.1 Commit 目标 为 Qwen3-Next 模型添加 Piecewise CUDA Graph 支持，使其能够在使用 Piecewise CUDA Graph 时获得性能提升。 1.2 修改文件清单 文件 修改内容 行数变化 python/sglang/srt/compilation/backend.py 添加 gdn_with_output 到 SPLIT_OPS +1 python/sglang/srt/layers/attention/fla/chunk_o.py 修复 uninitialized ...

SGLang Piecewise CUDA Graph 实现机制技术文档 文档信息 项目 说明 目标 系统性分析 SGLang 当前的 piecewise 实现机制，形成面向工程实践的技术文档 版本 SGLang 0.5.7 代码路径 python/sglang/srt/compilation/, python/sglang/srt/model_executor/ 1. 设计背景与动机 1.1 解决的问题 CUDA Graph 在动态 shape 场景下的限制 传统 CUDA Graph capture 要求： 输入 tensor 的 shape 必须在编译时确定 Memory layout 必须固定 不支持动态控制流 在 LLM 推理场景中： 输入序列长度（token 数）变化范围大 Batch size 动态变化 不同请求的序列长度差异显著 1.2 使用场景 变长序列推理的核心需求 123请求1: [token1, token2, ..., token16] → 需要 size=16 的 graph 请求2: [t ...

NOTE 当前调度版本基于sglang tag 0.5.7 SGLang 请求优先级调度机制技术文档 文档概述 本文档系统性地分析了 SGLang (v0.5.7) 中请求优先级调度的实现机制，包括整体架构、配置参数、核心代码实现、以及当前机制的局限性。 一、整体概览 1.1 支持情况 SGLang 支持请求优先级调度，提供了灵活的调度策略和配置选项。 1.2 设计目标 延迟优化: 通过 FCFS、优先级调度等策略降低请求延迟 吞吐优化: 通过 LPM、批处理、缓存感知策略提升系统吞吐量 QoS 支持: 支持显式优先级调度，可抢占低优先级请求 公平性: 在优先级相同的情况下采用 FCFS 保证公平性 内存效率: 基于 RadixAttention 的前缀缓存，最大化内存利用率 1.3 调度层级 12345678910111213141516┌──────────────────────────────────────────────── ...

EAGLE Speculative Decoding 参数与原理 本文对 EAGLE Speculative Decoding 的核心参数、指标与整体流程进行结构化说明，并结合关键代码位置解释其实现细节。 NOTE EAGLE原始文档：https://docs.sglang.io/advanced_features/speculative_decoding.html#EAGLE-Decoding To enable EAGLE speculative decoding the following parameters are relevant: speculative_draft_model_path: Specifies draft model. This parameter is required. speculative_num_steps: Depth of autoregressive drafting. Increases speculation range ...

缓存长度必须是 64 的整数倍。如果分叉位置是 300，则缓存位置会回退到 。 如果 当前路径上从未发生分叉 → prefix = 最后一个 64 对齐点 如果 中途发生过分叉 → prefix = 分叉点的最后一个 64 对齐点 CONTENT = “1” * 256 + “2” * 256 # prefix 0 CONTENT = “1” * 256 + “3” * 256 # prefix 0 CONTENT = “1” * 256 + “4” * 256 # prefix 256 CONTENT = “1” * 256 + “2” * 256 + “5” * 256 # prefix 512 CONTENT = “1” * 256 + “4” * 256 + “5” * 256 # prefix 512 CONTENT = “1” * 256 + “3” * 256 + “5” * 256 # prefix 256 CONTENT = “1” * 256 + “3” * 256 # prefix 256 CONTENT = “1” * 256 + “3” ...

支持新模型： https://docs.vllm.ai/en/v0.6.3/models/adding_model.html# https://docs.sglang.io/supported_models/support_new_models.html#how-to-support-a-new-language-model 多模态大语言模型推理原理与实现 基于 nano-sglang 框架的多模态模型处理机制 多模态模型概述 多模态模型的核心思想是将不同模态的数据映射到统一的语义空间，然后利用语言模型进行理解和生成： 123456789101112131415┌─────────────┐ ┌─────────────┐ ┌──────────────┐ │ 文本输入 │ ──→ │ Tokenizer │ ──→ │ Token Embed │ ├─────────────┤ ├─────────────┤ ├──────────────┤ │ 图像输入 │ ──→ │ Vision Enc │ ...

NOTE 参考自文章：https://blog.speechmatics.com/cuda-timings 强烈推荐大家去阅读原文 GPU 算子性能测试优化点总结 优化点 核心原理 解决的问题 主机-设备同步 (Host-Device Sync) CUDA 核函数是异步执行的。CPU 只是把任务丢进队列就继续往下跑了。 避免只测到了“分发任务”的时间，而不是“执行任务”的时间。 CUDA Events 在 GPU 指令流中插入“时间戳”标记，由 GPU 硬件直接记录。 减少 CPU 侧 perf_counter 带来的系统调用开销和内核启动（Launch）干扰。 预热 (Warmup) 排除 JIT 编译、cudnn 算子自动选择（autotune）、显存重新分配和延迟加载等一次性开销。 避免初次运行的巨大延迟拉高平均值，使数据更符合稳定运行状态。 固定时钟频率 (Fixed Clocks) 现代 GPU ...

AWQ算子实现 目标 AWQ算子本质上就是实现一个矩阵乘 输入 A: 正常的连续内存 [M, K]。 输入 B: 高度int4压缩。水平方向（N）打包了 bit，垂直方向（K）按 group_size 进行了分块量化。 输出 C: 正常的连续内存 [M, N] 如下图所示： graph TD subgraph Input_A [输入矩阵 A: 激活值] A_data["形状: [M, K]<br/>类型: float16/bfloat16<br/>(连续内存排布)"] end subgraph Input_B [输入矩阵 B: 量化权重] direction TB subgraph B_Storage [存储结构] QW["qweight<br/>[K, N/8]<br/>int32 (打包 8个 4-bit)"] QZ["qzeros<br/>[K/G, N/8]<br/>i ...