quantize

Subpages

  • 量化-01-综述

    最新博主在系统学习量化,之前都是以工程实践为主,缺少系统性的学习,最近找了一篇量化综述,学习了一下,收获颇丰

  • 量化-02-OBQ

    因为GPTQ是基于OBQ改进的,所以我们这里先讲OBQ算法

  • 量化-03-GPTQ

    上文提到,OBQ 的致命痛点在于 “行依赖(Row-wise dependency)”

  • 量化-04-SmoothQuant

    之前我们讲的算法是OBQ/GPTQ是量化权重的,把权重量化到W4/8,实际计算时还要转成bf16,并没有使用上INT8 tensor core加速计算

  • awq

    AWQ 的研究团队发现了一个非常有意思的现象:对于 LLM 的权重量化,只有 0.1%-1% 的权重(Salient Weights)决定了最终的精度。