一键安装此插件：
42plugin install ancoleman/ai-design-components/model-serving42plugin install ancoleman/ai-design-components/model-serving插件介绍
用于推理的 LLM 和 ML 模型部署。在生产环境中提供模型、构建 AI API 或优化推理时使用。涵盖 vLLM（LLM 服务）、TensorRT-LLM（GPU 优化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（编排）、LlamaIndex（RAG）等。