部署报错AssertionError: The weights that need to be quantified should be on the CUDA device。

[zhengzhengwenbo]

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()
我使用给的低量部署，为什么会报错AssertionError: The weights that need to be quantified should be on the CUDA device。
我部署base不会，就这个会，有大佬知道原因吗？有解决办法吗？

[yimisiyang]

[WARNING|modeling_utils.py:3034] 2024-03-27 10:00:35,226 >> Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at D:\cxk_home\ChatGLM3\chatglm3-6b and are newly initialized: ['transformer.prefix_encoder.embedding.weight']
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
[INFO|modeling_utils.py:2690] 2024-03-27 10:00:35,226 >> Generation config file not found, using a generation config created from the model config.
Quantized to 4 bit
Traceback (most recent call last):
File "D:\cxk_home\python_code\ptuning\main.py", line 430, in
main()
File "D:\cxk_home\python_code\ptuning\main.py", line 128, in main
model = model.quantize(model_args.quantization_bit)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator/.cache\huggingface\modules\transformers_modules\chatglm3-6b\modeling_chatglm.py", line 1212, in quantize
self.transformer.encoder = quantize(self.transformer.encoder, bits, empty_init=empty_init, device=device,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Administrator/.cache\huggingface\modules\transformers_modules\chatglm3-6b\quantization.py", line 156, in quantize
layer.self_attention.query_key_value = QuantizedLinear(
^^^^^^^^^^^^^^^^
File "C:\Users\Administrator/.cache\huggingface\modules\transformers_modules\chatglm3-6b\quantization.py", line 128, in init
assert str(weight.device).startswith('cuda'), 'The weights that need to be quantified should be on the CUDA device'
AssertionError: The weights that need to be quantified should be on the CUDA device
(chatglm3-6b-ptuning) PS D:\cxk_home\python_code\ptuning>
大佬，解决了吗？ 我也遇到了这个问题

[Artemis-ii]

[Artemis-ii]

但是之前部署都没有问题也能正常运行，突然不行了

[yimisiyang]

我解决了，我是执行 ChatGLM6B ptuning微调时出现的，意思就是没有把权重移到GPU上计算，在main.py 中加入model.to('cuda')即可。我看train.sh中有CUDA_VISIBLE_DEVICES=0 python main.py 意思不就是放到cuda上执行吗？具体原理不太清楚。

[yimisiyang]

ChatGLM6B 默认参数下微调需要将近14G显存，我的现存占用一直是这么多。

[Artemis-ii]

我finetune没问题，主要是部署。

[Artemis-ii]

应该是作者改了huggingface上的权重移动逻辑

[Artemis-ii]

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda() 我使用给的低量部署，为什么会报错AssertionError: The weights that need to be quantified should be on the CUDA device。 我部署base不会，就这个会，有大佬知道原因吗？有解决办法吗？

我解决了。

1. 查了一下huggingface貌似作者修改了一下量化权重的移动逻辑，我把修改部分还原之后，和之前一样可以正常部署了；
   
2. 有可能作者正在做升级吧，但暂时还原是可以用的目前，低量部署完显存占用也是正常的；

[SteveYung-tech]

同样的问题，大佬解决了吗？显存不够改了composite_demo里面的client量化出现的？根据上面给出的试了都不行，去掉断言，还会出现别的错误，显示设备是cpu
self.model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).quantize(4).cuda().eval()

[Artemis-ii]

贴图里面huggingface的修改记录，找到这个quantization.py文件把修改变动都还原，不然不会放在cuda上计算的

[DeepAichemist]

直接把assert注释了也没用呀，就会报ValueError: Expected a cuda device, but got: cpu的从错误

[Artemis-ii]

你可能没明白我意思，你去huggingface找一下这个修改记录，所有修改都还原不是说只是注释断言

[DeepAichemist]

谢谢大佬 ，改了就好了

[DiaoYung]

使用Artemis-ii大佬的办法完美解决了，跑通了

[cyf08]

可以修改为model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).cuda().quantize(4)，先将模型传到显存再做量化。

[Artemis-ii]

如果显存够的话也是个好方法！但对于显存不太够的情况显存会一下子炸掉，如果对于本来就因为显存不够才做低量部署来说的话。

[cyf08]

是的，我忽略了这一点。

[C-a-r-r-y]

我试了下，感觉显存占用不对，模型没成功量化

[bentouyu]

用modelscope的代码就没问题，hugface的会报错。也可以直接下载modelscope里的quantization.py然后替换

[xiximang]

感谢感谢还真是