一键安装此插件:
42plugin install hsliuustc0106/vllm-omni-skills/vllm-omni-quantization
用于 vLLM-Omni 模型的量化工作,支持 AWQ、GPTQ、FP8 等方法,协助添加量化模型支持及调试内存与性能问题。
从属套包
hsliuustc0106/kit/vllm-omni-skills