DeepSeek-Coder-V2：开源最强代码大模型，推理与生成双提升
如果你正在寻找一款在代码生成、推理和修复上能媲美甚至超越…
用思维链让本地小模型变聪明——COT 推理增强库 Thought 开源
当本地小模型面对复杂推理任务频频翻车时，Thought …
OpenWebUI：LLM 交互前端，让本地模型拥有 ChatGPT 级体验
如果你厌倦了在终端里敲命令行调用本地大模型，或者觉得 O…
Ollama：一行命令本地跑大模型，开发者私藏推理神器
厌倦了配置复杂的推理环境？Ollama 让你像用 Doc…
LocalAI：本地运行大模型与多模态的私有化推理引擎
LocalAI 是一个开源的自托管 AI 推理服务器，让…
VLLM：高性能 LLM 推理引擎，轻松部署大模型服务
如果你正在为部署大语言模型的推理延迟和吞吐量发愁，vLL…
离线运行 Llama 3 的 C++ 推理引擎，llama.cpp 之外的新选择
如果你正在寻找一个比 llama.cpp 更轻量、更易嵌…
本地运行多模态大模型，llama.cpp 生态再添新成员
如果你还在为在消费级硬件上运行多模态大模型而发愁，这个仓…
用纯Go运行LLM？llama.go让你在CPU上本地跑大模型
如果你既想体验本地大模型推理，又不想被Python生态和…