一键安装此插件:
42plugin install ndif-team/skills/quantization
通过指定格式名称(如 nf4、int8)加载 4 位或 8 位量化模型,详解内存节省、精度损失及常见静默失败场景。
从属套包
ndif-team/kit/skills