quantize
Subpages
-
量化-01-综述
最新博主在系统学习量化,之前都是以工程实践为主,缺少系统性的学习,最近找了一篇量化综述,学习了一下,收获颇丰
-
量化-02-OBQ
因为GPTQ是基于OBQ改进的,所以我们这里先讲OBQ算法
-
量化-03-GPTQ
上文提到,OBQ 的致命痛点在于 “行依赖(Row-wise dependency)”
-
量化-04-SmoothQuant
之前我们讲的算法是OBQ/GPTQ是量化权重的,把权重量化到W4/8,实际计算时还要转成bf16,并没有使用上INT8 tensor core加速计算
-
awq
AWQ 的研究团队发现了一个非常有意思的现象:对于 LLM 的权重量化,只有 0.1%-1% 的权重(Salient Weights)决定了最终的精度。