Knowledge base · Technical notes

gogongxt

知识分享

  • 80notes
  • 30directories
  • 10tags

Recent updates

View all
  • cp

    cp核心来说,就是分成几个不同的思路点:

  • SGLang 分布式 Hang / GPU 调试指南

    补充判别:

  • gpu-topo

    NIC : Network Interface Card 就是网卡

  • Retract机制

    一条 input 长度逼近 KV cache 容量的请求,在 decode 阶段会触发一次看起来很费时间的 “retract” 交互。本文讲清楚 retract 到底是什么、为什么…

  • coredump调试cuda kernel

    首先新建test_coredump.py脚本,脚本内容如下:

  • hisparse

    长上下文推理里,稀疏注意力解决了”算不动”的问题,却没解决”装不下”的问题。一个 1M 上下文的请求,即便每步 decode 只看 top-k 个 token,它的完整 KV ca…

  • miniconda换目录

    如果把conda/miniconda换一个目录,会出现一些脚本bash bang等硬编码写死路径的问题,需要修复

  • tbo-sbo

    tbo 就是 two batch overlap,最开始由deepseek提出,主要的目标是基于deepep的实现思路,优化计算和通信的overlap

  • 通信操作

    主要介绍AllGather和AllReduce,别的通信操作可以参考下面的文档

  • vllm-ascend

    一句话总结:vllm-ascend 是 vllm 的硬件插件(out-of-tree platform plugin),通过 Python entry_points 机制注入,覆盖…

  • awq

    AWQ 的研究团队发现了一个非常有意思的现象:对于 LLM 的权重量化,只有 0.1%-1% 的权重(Salient Weights)决定了最终的精度。

  • 量化-04-SmoothQuant

    之前我们讲的算法是OBQ/GPTQ是量化权重的,把权重量化到W4/8,实际计算时还要转成bf16,并没有使用上INT8 tensor core加速计算

  • 投机采样

    论文:

  • 拉格朗日乘数法

    拉格朗日乘数法(Lagrange Multiplier Method)是数学优化中处理等式约束极值问题的经典方法。它通过引入“拉格朗日乘子”,巧妙地将一个有约束的问题转化为无约束的…

  • 量化-02-OBQ

    因为GPTQ是基于OBQ改进的,所以我们这里先讲OBQ算法

  • 量化-03-GPTQ

    上文提到,OBQ 的致命痛点在于 “行依赖(Row-wise dependency)”

  • 量化-01-综述

    最新博主在系统学习量化,之前都是以工程实践为主,缺少系统性的学习,最近找了一篇量化综述,学习了一下,收获颇丰

  • n卡驱动关系

    需要保证一条自下而上的兼容链条:

  • sglang在pd分离下的router请求

    本文档详细说明 SGLang Router 在 Prefill-Decode (PD) 分离模式下,如何将客户端请求转换并分发到 prefill 和 decode 服务器。

  • deepseek_v32部署

    所有实例(Prefill 和 Decode)均需设置以下环境变量: