nanosglang
Subpages
-
1-从进程和端口开始看架构
启动命令:python3 -m sglang.launch_server --model-path /tmp-data/models/llama-2-7b --port 30000…
-
2-流式响应架构
总体概览:
-
3-router调度请求进行推理
前两节我们讲了进程的关系和每个进程的作用,和用户发送请求后的http流转流程
-
4-sglang中的内存池
三个的大概结构如下图所示:
-
5-chunked-prefill
为什么要有chunked prefill?
-
6-AWQ量化模型推理
对一个推理框架来说,要推理一个量化后的模型,会需要知道几件事情:
-
7-AWQ算子
AWQ算子本质上就是实现一个矩阵乘 A×BA\times B
-
8-多模态模型加载和适配
支持新模型: