一键安装此插件:
42plugin install hsliuustc0106/vllm-omni-skills/vllm-omni-serving
启动并配置 vLLM-Omni API 服务器以进行生产环境模型服务。适用于模型服务器启动、流水线阶段配置、GPU 内存设置、优化启用及负载均衡器后的模型部署。
从属套包
hsliuustc0106/kit/vllm-omni-skills