LocalAI：本地运行大模型与多模态的私有化推理引擎
LocalAI 是一个开源的自托管 AI 推理服务器，让…
VLLM：高性能 LLM 推理引擎，轻松部署大模型服务
如果你正在为部署大语言模型的推理延迟和吞吐量发愁，vLL…
离线运行 Llama 3 的 C++ 推理引擎，llama.cpp 之外的新选择
如果你正在寻找一个比 llama.cpp 更轻量、更易嵌…
本地运行多模态大模型，llama.cpp 生态再添新成员
如果你还在为在消费级硬件上运行多模态大模型而发愁，这个仓…
用纯Go运行LLM？llama.go让你在CPU上本地跑大模型
如果你既想体验本地大模型推理，又不想被Python生态和…
