一键安装此插件：
42plugin install ovachiever/droid-tings/bitsandbytes42plugin install ovachiever/droid-tings/bitsandbytes插件介绍
将大语言模型量化为8位或4位，实现50-75%的内存节省且精度损失最小。适用于GPU内存有限、需要部署更大模型或追求更快推理的场景。支持INT8、NF4、FP4格式、QLoRA训练和8位优化器，兼容HuggingFace Transformers。
一键安装此插件：
42plugin install ovachiever/droid-tings/bitsandbytes42plugin install ovachiever/droid-tings/bitsandbytes将大语言模型量化为8位或4位，实现50-75%的内存节省且精度损失最小。适用于GPU内存有限、需要部署更大模型或追求更快推理的场景。支持INT8、NF4、FP4格式、QLoRA训练和8位优化器，兼容HuggingFace Transformers。