大模型
Subpages
-
SGLang 分布式 Hang / GPU 调试指南
补充判别:
-
准确测试cuda代码执行性能
参考自文章:https://blog.speechmatics.com/cuda-timings
-
cp
cp核心来说,就是分成几个不同的思路点:
-
Function Call和MCP
本文参考自 https://oigi8odzc5w.feishu.cn/wiki/LWqEwXNkBibT0ykrbI0cvptBnAf
-
gpu-topo
NIC : Network Interface Card 就是网卡
-
hisparse
长上下文推理里,稀疏注意力解决了”算不动”的问题,却没解决”装不下”的问题。一个 1M 上下文的请求,即便每步 decode 只看 top-k 个 token,它的完整 KV ca…
-
models
-
nanosglang
-
pd分离最佳配比实验方法
在 PD(Prefill-Decode)分离架构中,Prefill 和 Decode 的性能是完全独立的。TTFT(Time To First Token)和 TPOT(Time …
-
piecewisegraph
-
quantize
-
sglang
-
sglang处理function_call
无论是基于提示词还是基于api的function call,本质上都是token的处理
-
speculative
-
vllm-ascend