GitHub项目

LobeChat：一站式多模态聊天与Agent编排平台

leaf2026年6月2日1 分钟阅读 71暂无评论

厌倦了在多个AI服务之间来回切换？LobeChat是一个开源、可自托管的智能聊天平台，整合了GPT-4、Claude、Gemini等主流大模型，并支持文生图、语音对话、插件系统与自定义Agent。无论是开发者想快速搭建私有助手，还是爱好者追求更灵活的AI交互体验，它都能大幅降低门槛。核心看点- 多模型统一接入：内置数十种模型提供商（OpenAI、Anthropic、Google、国产模型等），无需手动配置API，一个界面即可切换对话引擎。 - 插件与工具链：支持联网搜索、代码执行、图片生成等插件，Agent可自主调用工具完成复杂任务，RAG能力通过知识库插件扩展。 - 优雅的对话体验：支持Markdown渲染、代码高亮、语音输入/输出，以及多模态内容（图片、文件）的拖拽交互，界面接近商业产品。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁- 希望统一管理多个AI API的开发者，或需要为团队搭建内部AI工作台的技术负责人。 - 对AI Agent和工具调用感兴趣的研究者，可基于其插件系统快速验证想法。 - 依赖：Node.js 18+，可一键Docker部署；使用自带模型需API Key，部分插件（如联网搜索）需额外配置。快去仓库的Releases和插件市场逛逛，看看如何定制你自己的AI工作流：LobeChat GitHub仓库

#Agent #GitHub

SGLang：为 LLM 推理与结构化输出优化的高性能引擎

leaf2026年6月1日1 分钟阅读 80暂无评论

如果你正在为 LLM 的推理速度和结构化输出（JSON Schema、约束解码）头疼，SGLang 可能是你需要的加速器。它由 LMSYS 团队打造，专为 LLM 推理场景设计，通过一种称为“结构化生成语言”的编程模型，将提示预处理、并行采样和约束解码融合为一条高效流水线，特别适合需要高吞吐量的在线服务和 Agent 调用场景。核心看点- 结构化生成语言（SGLang）：用 Python 子语言描述生成逻辑，自动优化执行计划，支持约束解码（如强制输出合法 JSON）和并行调用，大幅减少冗余计算。 - 高性能推理后端：集成了 FlashInfer 等优化内核，支持连续批处理、分页注意力，在多个基准测试中吞吐量优于 vLLM 和 TensorRT-LLM。 - 灵活的部署选项：提供 OpenAI 兼容的 API 服务器，也可作为 Python 库嵌入，支持 Llama、Mistral、Qwen 等主流模型。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示适合对推理延迟和吞吐量有要求的开发者，比如构建实时聊天机器人、Agent 工具链或结构化数据提取管道。需要 CUDA 环境（推荐 A100 或同等 GPU），Python 3.9+，模型权重需自行下载或从 Hugging Face 加载。项目采用 Apache-2.0 许可证，社区活跃，Issue 响应快。想体验“一次提示、多路并行输出”的威力？直接去 SGLang GitHub 仓库看示例和性能对比。

Mastra：面向 AI Agent 的 TypeScript 编排框架，可观测与工具调用一体化

leaf2026年5月31日1 分钟阅读 85暂无评论

如果你正在用 TypeScript 构建多步骤 Agent 或 RAG 流水线，却苦于调试链路不透明、工具调用难管理，不妨看看 Mastra。这个开源框架把 Agent 编排、记忆管理、工具调用和可观测性打包进一套声明式 API，尤其适合需要精细控制 LLM 行为的 Node.js 后端开发者。核心看点- 声明式 Agent 编排：通过 YAML 或 TypeScript 定义任务图（DAG），支持并行执行、条件分支和循环重试，配合内置的 LLM 调用追踪，每一步的 Token 消耗和延迟都一目了然。 - 工具调用与记忆一体化：自带函数调用脚手架，能自动将外部 API 或数据库操作注册为 Agent 可调用的工具，并支持基于向量存储的短期/长期记忆，减少重复上下文注入。 - 与主流推理后端兼容：开箱支持 OpenAI、Anthropic、Ollama 等，也允许通过自定义 Provider 接入本地模型，配合可观测性中间件输出结构化日志，方便集成到 Grafana 或 Datadog。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁面向 Node.js 全栈或后端开发者，特别是正在搭建客服、代码审查、数据爬取等需要多步推理的 Agent 服务。依赖简单：仅需 Node 18+ 和 npm/pnpm，无需独立服务；若使用内置向量记忆则需一个 PostgreSQL 或 SQLite 实例。所有 API Key 由用户自行管理，框架不采集数据。Mastra 的 README 提供了从零搭建“天气查询 Agent”的快速入门，文档站还有更复杂的 RAG 流水线示例。如果你对 Agent 的可观测性有执念，它的 Tracing 模块值得单独翻翻——或许正是你下一个生产级应用缺失的那块拼图。戳仓库主页 Mastra on GitHub 开始探索。

#Agent #GitHub

R1-V：用强化学习让VLM学会视觉定位，无需手工标注

leaf2026年5月30日1 分钟阅读 82暂无评论

想让视觉语言模型（VLM）不仅看懂图片，还能精准指出目标位置？R1-V 提供了一个极简的强化学习方案：基于 GRPO 算法，只靠“对与错”的奖励信号，就能让模型学会输出物体边界框。对于研究多模态对齐、Agent 视觉感知的开发者来说，这是一个低门槛的动手实验入口。核心看点- 纯强化学习实现视觉 grounding：无需人工标注的坐标回归数据，而是通过奖励模型判断“框是否包含目标物体”，驱动模型自己学会输出坐标。灵感来自 DeepSeek-R1 的推理范式。 - 代码极简，易于复现：基于 Qwen2-VL 等开源 VLM，训练脚本不到 200 行，依赖主流的 transformers、vLLM 和 TRL 库，适合快速跑通实验。 - 可扩展性强：支持替换不同的 VLM 基座和奖励函数定义，方便研究者探索“推理型视觉定位”的新范式。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁对多模态 Agent、视觉推理感兴趣的 AI 研究员或学生。需要至少一张 24GB 显存的 GPU（如 RTX 3090/4090）来微调 7B 级模型。无需外部 API Key，所有依赖均来自开源生态（Apache-2.0 许可）。想亲眼看看“零标注”的视觉定位如何工作？不妨从 README 的快速开始部分跑起，仓库地址：R1-V：用强化学习教会 VLM 看位置。

Outlines：让 LLM 输出严格遵循 JSON 模式的可靠生成框架

leaf2026年5月29日1 分钟阅读 76暂无评论

你是否受够了 LLM 胡编乱造 JSON 格式？Outlines 是一个轻量但强大的 Python 库，让大模型输出严格遵循你定义的 Pydantic 模型或 JSON Schema，无需反复提示词调优。它通过约束解码（constrained decoding）在生成阶段直接控制 token 采样空间，特别适合需要结构化输出的 Agent、RAG 链路和 API 后端开发者。核心看点- 声明式结构化输出：直接传入 Pydantic 类或 JSON Schema，模型生成的结果自动匹配格式，支持嵌套、可选字段和枚举约束。 - 多后端兼容：原生支持 llama.cpp、vLLM、Transformers 以及 OpenAI API 兼容接口，一套 API 切换本地和云端模型。 - 轻量无侵入：不修改模型权重，仅通过正则或 FSM（有限状态机）在采样时引导生成，推理速度几乎无损失。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁正在构建函数调用、数据抽取、表单生成、SQL 查询生成等需要可靠结构化输出的开发者。依赖 Python 3.8+，无需 GPU 即可使用 OpenAI 后端；若本地部署，推荐配合 llama.cpp 或 vLLM 使用。项目采用 Apache-2.0 许可证。想彻底告别 JSON 解析异常？去 Outlines 的 README 看看它如何用几十行代码搞定复杂约束，社区还提供了丰富的 Pydantic 示例。

#Agent #GitHub

Qwen2.5：阿里通义千问新一代开源大模型，多尺寸与长上下文

leaf2026年5月28日2 分钟阅读 74暂无评论

如果你正在寻找一个既能跑在消费级显卡上、又能处理超长上下文的开源大模型，Qwen2.5 系列值得你立刻点开。阿里云通义千问团队最新发布，覆盖从 0.5B 到 72B 共 7 个尺寸，全部开源且支持 128K tokens 上下文，Apache-2.0 许可，无论是研究实验还是生产部署都能找到合适的版本。核心看点- 全尺寸覆盖与灵活部署：从 0.5B 的轻量级模型（适合手机或端侧推理）到 72B 的旗舰版本（需要多卡 GPU），中间还有 1.5B、3B、7B、14B、32B 等梯度，开发者可根据硬件和场景自由选择。 - 超长上下文与多语言能力：原生支持 128K tokens 上下文窗口，且在多语言基准（包括中文、英文、代码、数学）上表现优异，尤其适合需要处理长文档、对话历史或代码库的 RAG/Agent 应用。 - 开源生态友好：模型权重已在 Hugging Face 和 ModelScope 发布，兼容 vLLM、llama.cpp、Ollama 等主流推理框架，微调也可直接接入 LLaMA-Factory，上手门槛极低。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示- 依赖与硬件：最小 0.5B 模型可在 CPU 或 4GB 显存的 GPU 上运行；72B 推荐使用 4×A100（80GB）或更高配置。无需 API Key，全部离线部署。 - 典型场景：长文档问答、代码生成与修复、多轮对话 Agent、本地知识库 RAG 系统。建议优先尝试 7B/14B 版本，在效果与资源消耗间取得平衡。 - 快速开始：通过 transformers 或 vLLM 加载模型，参考仓库 README 中的示例代码即可在 5 分钟内跑通推理。更多细节（如微调脚本、量化配置、Benchmark 结果）都写在仓库的文档里，建议直接去 README 的“模型列表”与“快速…

ChatGLM3 开源大模型：智谱AI最新对话与推理利器

leaf2026年5月26日1 分钟阅读 94暂无评论

如果你正在寻找一个兼顾对话流畅度与复杂推理能力的中文大模型，智谱AI开源的ChatGLM3值得一试。它基于GLM架构，在对话、工具调用和代码生成上表现均衡，尤其适合开发者快速集成到业务中，或研究者探索模型微调。核心看点- 增强的对话与推理：相比前代，ChatGLM3在长文本理解和多轮对话上更稳定，支持更复杂的逻辑推理任务，如数学题解答和代码调试。 - 灵活的部署与微调支持：提供多种尺寸（6B、130B等），可基于Transformer库快速加载；社区已有大量LoRA微调教程，降低定制门槛。 - 工具调用与多模态扩展：模型原生支持通过Function Call调用外部工具，并兼容视觉模块（如CogView），适合构建Agent或图文应用。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示推荐在至少16GB显存的GPU上运行6B版本，或使用量化方案（如GPTQ）降低资源需求。无需额外API Key，模型权重以Apache-2.0许可开源，可直接从Hugging Face下载。若需微调，建议参考官方示例准备数据集。想深入了解架构细节或社区贡献的插件生态？直接访问 ChatGLM3 GitHub 仓库，README中附有快速启动脚本和模型卡链接。

MinerU：PDF 文档解析利器，让大模型吃透复杂排版

leaf2026年5月25日1 分钟阅读 146暂无评论

处理 PDF 中的多栏、表格、公式和页眉页脚，一直是 RAG 和文档理解管线里的老大难。MinerU 由书生·浦语团队开源，能把 PDF 干净地转成 Markdown 或 JSON，保留结构和元数据，让后续的 embedding、切片、检索不再被乱序文本拖累。适合正在搭建高质量知识库、需要从论文/财报/合同里提取结构化信息的开发者或研究者。核心看点- 高保真版面还原：内置 OCR 与布局检测模型，能识别标题层级、表格、图片与公式，输出接近原版排版的 Markdown，表格和数学公式不会碎成乱码。 - 多粒度输出：支持按段落、按页面、按元素类型（文本/表格/图片）提取，可直接对接 LangChain、LlamaIndex 等 RAG 框架。 - 轻量部署：纯 Python 实现，依赖 PyTorch 和 Detectron2，单张消费级 GPU 即可运行推理，也提供 CPU 模式（速度下降但可用）。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁- 正在做文档问答、论文综述、企业合同分析的团队，需要将 PDF 转化为干净的文本源。 - 对开源许可证友好（Apache-2.0），可商用，无需额外 API Key，所有模型权重随仓库下载。MinerU 不是万能 OCR，但在复杂 PDF 上的表现远超 PyMuPDF 等传统工具。不妨从 README 的快速示例跑起，看看它如何处理你手头最乱的文档： MinerU

#GitHub #RAG

Morphic：开源 Perplexity 风格 AI 搜索与 RAG 引擎

leaf2026年5月24日1 分钟阅读 77暂无评论

厌倦了被封闭生态的 AI 搜索绑定？Morphic 提供了一个可直接部署的 Perplexity 风格搜索体验，基于 Next.js 与 LangChain，让开发者轻松搭建自己的 AI 驱动问答与检索系统。它整合了搜索引擎（Tavily/Serper）、大模型（OpenAI/Anthropic/Ollama）与向量存储，适合想研究 RAG 架构或自建知识搜索工具的工程师。核心看点- 模块化 RAG 管道：从查询重写、网络搜索到上下文注入与流式回答，每一步都可替换组件，方便实验不同检索策略。 - 多模型后端支持：既可用云端 GPT-4/Claude，也支持通过 Ollama 接入本地开源模型（如 Llama 3、Mistral），兼顾成本与隐私。 - 开箱即用前端：基于 Tailwind 的类 Perplexity UI，包含源引用高亮与追问功能，部署后即可体验完整搜索对话。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示需要 Node.js 18+ 与一个搜索引擎 API Key（Tavily 或 Serper，免费额度足够测试）。克隆仓库后复制 .env.example 填入密钥，npm run dev 即可在本地运行；若想用本地模型，额外配置 Ollama 端点即可。项目采用 MIT 许可证，无隐藏收费。想深入 RAG 实现或搭建私有搜索助手？直接看看 Morphic 的 README 与架构图，能帮你少走不少弯路。

#GitHub #RAG