一键安装此插件:
42plugin install hsliuustc0106/vllm-omni-skills/vllm-omni-diffusion-perf-optim
指导 vLLM-Omni 扩散模型实现最佳推理性能,涵盖并行、量化等无损及有损优化方法,提供现成配置方案。
从属套包
hsliuustc0106/kit/vllm-omni-skills