我也是一样，怎么回事

问题大概是出在 照教程装了个CPU版的torch（用pip install -r requirements.txt 这个命令装进去的）
建议是先装好GPU版的torch
再用pip install -r requirements.txt

你好，请问这个问题解决了嘛，我也被这个问题困住了

#int4WeightExtractionHalf报错
#可安装cpm_kernels库，装完问题解决
pip install cpm_kernels

楼主解决了吗

chatglm2-6b-int4\quantization.py
func = kernels.int4WeightExtractionHalf AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf'
在部署langchain-chatchat的时候使用gpu启动的时候，大模型都加载到显卡内存上了，在发起聊天对话也遇到此问题，还没有找到办法解决。