Vocalize：用 GPU 加速本地语音合成，支持多语言与情感控制
如果你需要在本地快速生成自然、带情感的语音，又不想依赖云…
Outlines：让 LLM 输出严格遵循 JSON 模式的可靠生成框架
你是否受够了 LLM 胡编乱造 JSON 格式？Outl…
Qwen2.5：阿里通义千问新一代开源大模型，多尺寸与长上下文
如果你正在寻找一个既能跑在消费级显卡上、又能处理超长上下…
DeepSeek-Coder-V2：开源最强代码大模型，推理与生成双提升
如果你正在寻找一款在代码生成、推理和修复上能媲美甚至超越…
用思维链让本地小模型变聪明——COT 推理增强库 Thought 开源
当本地小模型面对复杂推理任务频频翻车时，Thought …
OpenWebUI：LLM 交互前端，让本地模型拥有 ChatGPT 级体验
如果你厌倦了在终端里敲命令行调用本地大模型，或者觉得 O…
Ollama：一行命令本地跑大模型，开发者私藏推理神器
厌倦了配置复杂的推理环境？Ollama 让你像用 Doc…
LocalAI：本地运行大模型与多模态的私有化推理引擎
LocalAI 是一个开源的自托管 AI 推理服务器，让…
VLLM：高性能 LLM 推理引擎，轻松部署大模型服务
如果你正在为部署大语言模型的推理延迟和吞吐量发愁，vLL…
离线运行 Llama 3 的 C++ 推理引擎，llama.cpp 之外的新选择
如果你正在寻找一个比 llama.cpp 更轻量、更易嵌…
