大多数人在消费级GPU上跑ChatGLM系列模型（比如ChatGLM3-6B、ChatGLM3-6B-128K）时，都会遇到同一个问题：显存动不动就飙到12GB以上，RTX 3090以下的显卡基本带不动，动不动就OOM报错。要想真正把显存压下来，核心手段是模型量化——而不是调小batch size或关闭缓存这种边缘优化。

4位量化：显存从12GB压到4GB以下

这是目前最主流、效果也最显著的方案，基本适用于所有NVIDIA CUDA设备（RTX 30系及以上）。

第一步，安装依赖。这里有个关键点需要提醒：bitsandbytes的版本必须达到0.43.1或更高，否则低版本根本不支持ChatGLM3的4bit线性层映射。安装命令很简单：pip install bitsandbytes==0.43.1 --no-deps

第二步，加载模型时启用load_in_4bit=True，同时必须显式指定计算精度为torch.float16。如果跳过这一步，PyTorch可能会默认用float32做中间计算，结果显存反而暴涨，直接OOM。代码示例如下：

model = AutoModel.from_pretrained(
    "THUDM/chatglm3-6b",
    trust_remote_code=True,
    device_map="auto",
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)

第三步，tokenizer不需要额外改动，但必须与模型从同一个源加载，否则解码时会出现乱码：

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)

这一步操作起来很简单，把代码复制运行就行。但有一点必须警惕：千万别忘了bnb_4bit_compute_dtype这个参数，否则后果就是显存爆缸。

8位量化：精度与显存的折中选择

如果你发现4bit量化后生成质量明显下降——比如关键词丢失、逻辑断裂——而且设备显存又在6GB以上，那8bit就是一个更稳妥的替代方案。

方法一最简单：只需启用load_in_8bit=True，其他参数保持默认：

model = AutoModel.from_pretrained(
    "THUDM/chatglm3-6b-128k",
    trust_remote_code=True,
    load_in_8bit=True,
    device_map="auto"
)

方法二则配合accelerate做精细化控制，适合多卡或内存比较紧张的场景：

from accelerate import init_empty_weights, load_checkpoint_and_dispatch
with init_empty_weights():
    model = AutoModel.from_config(config, trust_remote_code=True)
model = load_checkpoint_and_dispatch(
    model,
    "./chatglm3-6b-8bit-checkpoint",
    device_map="auto",
    offload_folder="./offload",
    dtype=torch.float16
)

8bit量化后显存大约占用6GB，比4bit高出2GB，但推理稳定性提升明显，尤其在长文本生成和数学推理这类任务上，效果差别还是很大的。

混合精度+KV缓存优化：进一步榨干剩余显存

量化只是第一步，真正释放显存余量，还要靠运行时策略来补刀。

第一，强制启用KV缓存复用，避免每步都重新计算历史键值：model.config.use_cache = True

第二，设置pad token，防止tokenizer自动补零导致显存浪费：tokenizer.pad_token_id = tokenizer.eos_token_id

第三，在推理前清空无用缓存，并限制单进程显存上限，防止突发溢出：

torch.cuda.empty_cache()
torch.cuda.set_per_process_memory_fraction(0.85)

这些技巧加起来，能再省出0.5到1GB显存。对于RTX 4060这种8GB显存的卡来说，尤其关键——如果没有这些优化，4bit模型可能刚生成200字就因缓存膨胀而崩溃。

《夸克》非常好用的免费AI浏览器

下载APP查看