CPU推理引擎

在CPU、Apple Silicon及消费级GPU上运行LLM推理，无需NVIDIA硬件。适用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU或CUDA不可用场景，支持GGUF量化（1.5-8位），相比CPU版PyTorch可减少内存占用并提速4-10倍。