Knowledge base · Technical notes
gogongxt
知识分享
- 80notes
- 30directories
- 10tags
Recent updates
View all-
cp
cp核心来说,就是分成几个不同的思路点:
-
SGLang 分布式 Hang / GPU 调试指南
补充判别:
-
gpu-topo
NIC : Network Interface Card 就是网卡
-
Retract机制
一条 input 长度逼近 KV cache 容量的请求,在 decode 阶段会触发一次看起来很费时间的 “retract” 交互。本文讲清楚 retract 到底是什么、为什么…
-
coredump调试cuda kernel
首先新建test_coredump.py脚本,脚本内容如下:
-
hisparse
长上下文推理里,稀疏注意力解决了”算不动”的问题,却没解决”装不下”的问题。一个 1M 上下文的请求,即便每步 decode 只看 top-k 个 token,它的完整 KV ca…
-
miniconda换目录
如果把conda/miniconda换一个目录,会出现一些脚本bash bang等硬编码写死路径的问题,需要修复
-
tbo-sbo
tbo 就是 two batch overlap,最开始由deepseek提出,主要的目标是基于deepep的实现思路,优化计算和通信的overlap
-
通信操作
主要介绍AllGather和AllReduce,别的通信操作可以参考下面的文档
-
vllm-ascend
一句话总结:vllm-ascend 是 vllm 的硬件插件(out-of-tree platform plugin),通过 Python entry_points 机制注入,覆盖…
-
awq
AWQ 的研究团队发现了一个非常有意思的现象:对于 LLM 的权重量化,只有 0.1%-1% 的权重(Salient Weights)决定了最终的精度。
-
量化-04-SmoothQuant
之前我们讲的算法是OBQ/GPTQ是量化权重的,把权重量化到W4/8,实际计算时还要转成bf16,并没有使用上INT8 tensor core加速计算
-
投机采样
论文:
-
拉格朗日乘数法
拉格朗日乘数法(Lagrange Multiplier Method)是数学优化中处理等式约束极值问题的经典方法。它通过引入“拉格朗日乘子”,巧妙地将一个有约束的问题转化为无约束的…
-
量化-02-OBQ
因为GPTQ是基于OBQ改进的,所以我们这里先讲OBQ算法
-
量化-03-GPTQ
上文提到,OBQ 的致命痛点在于 “行依赖(Row-wise dependency)”
-
量化-01-综述
最新博主在系统学习量化,之前都是以工程实践为主,缺少系统性的学习,最近找了一篇量化综述,学习了一下,收获颇丰
-
n卡驱动关系
需要保证一条自下而上的兼容链条:
-
sglang在pd分离下的router请求
本文档详细说明 SGLang Router 在 Prefill-Decode (PD) 分离模式下,如何将客户端请求转换并分发到 prefill 和 decode 服务器。
-
deepseek_v32部署
所有实例(Prefill 和 Decode)均需设置以下环境变量: