跳到内容

下午好,继续加油,离目标更近一步。

GitHub项目

共 114 篇文章

GitHub项目
最新

Qwen-Agent:让通义千问学会调用工具的开源 Agent 框架

写 RAG 或多步推理时,最烦的就是把大模型和工具调用粘在一起自己造轮子。Qwen-Agent 是阿里开源的一套轻量 Agent 框架,专门围绕 Qwen 系列模型设计,装完就能让模型自己决定调什么函数、传什么参数,适合想快速把通义千问接进业务流的开发者。核心看点- 原生函数调用:内置与 Qwen 模型对齐的 tool calling 机制,定义好 JSON Schema 就能让模型自主选择工具,少走 prompt 调优弯路。 - 多 Agent 协同:支持拆分子任务给不同 Agent,再汇总结果,做简单编排不用再引入重型框架。 - 开箱即用:提供命令行交互和 API 两种模式,本地跑通只需 Python 环境加一个模型服务,对研究者和原型验证都很友好。▲ github.com(阿里云通义万相 生成配图,非网页截图)适合谁想用通义千问系列模型落地 Agent 场景的开发者,比如做代码助手、信息查询工具或流程自动化。默认对接 DashScope API,也可以切换到本地部署的 Qwen 模型;需要准备 API Key,但仓库里给了完整的示例和文档,照着改就行。如果你最近正好在对比不同 Agent 框架,值得点开 Qwen-Agent 的 README 看看它的设计取舍,尤其适合搭过 LangGraph 但嫌重的人。

GitHub项目
最新

Perplexica:本地自托管 AI 搜索,隐私与体验兼得

想要 Perplexity 那样的智能搜索体验,却不想把每次查询都交给第三方服务?Perplexica 是一个能完整跑在自己服务器上的 AI 搜索引擎,从索引到生成答案都由你掌控,特别适合对数据隐私敏感的开发者或研究者。核心看点- 本地推理优先:可接入 Ollama 或 llama.cpp 等本地模型,也支持 OpenAI、Claude 这类远端 API,切换不锁死。 - 多搜索模式:内置日常对话、学术检索、视频查找等多种模式,返回结果时附带引用来源,比单纯调用大模型更贴近真实搜索场景。 - 部署友好:提供 Docker 镜像,一条命令就能启动;界面风格接近主流 AI 搜索产品,上手成本低。▲ github.com(阿里云通义万相 生成配图,非网页截图)适合谁想给团队做一个私有化知识入口的工程师,或者不想让查询记录离开本机的个人用户。如果你已有一台能跑 7B 级别模型的机器,配合 Ollama 即可全本地运行;想快速尝鲜,也只需配置一个 OpenAI API Key 就能体验完整功能。项目基于 MIT 许可证,可放心二次改造。想对比不同模型在搜索场景下的表现,建议直接去 Perplexica 仓库 看 README 里的部署指引,顺便翻翻 Issues 里大家分享的配置经验。

GitHub项目
最新

tinygrad:用很少的代码读懂深度学习与大模型推理

绝大多数人用深度学习框架就是调 API,想亲眼看清张量、自动求导、反向传播到底怎么运作,往往被 PyTorch 那几十万行代码劝退。tinygrad 把核心逻辑压缩得很紧凑,同时又保留了可用的训练和推理能力,适合想拆开黑盒的工程师和研究爱好者。核心看点- 极简内核:用相对很少的代码实现张量、自动求导和常见优化器,阅读它比啃 PyTorch 源码轻松得多。 - 多后端支持:同一套模型可跑在 CPU、CUDA、OpenCL、WebGPU 上,换设备时不用改写业务代码。 - 能训也能推理:既能训练小型模型,也能加载类似 LLaMA 的权重做推理,用来理解大模型内部机制正合适。▲ github.com(阿里云通义万相 生成配图,非网页截图)适合谁想真正理解框架底层原理的开发者,或需要在不同设备上做轻量推理的爱好者。项目基于 Python,依赖少,纯 CPU 环境就能跑;GPU 版需要对应的驱动或 CUDA 环境,不需要 API Key。如果你早已厌倦把框架当黑盒用,点进 README 从代码目录开始走读,会有种豁然开朗的感觉。打开 tinygrad 仓库 看看它是如何在紧凑代码里撑起一个完整的深度学习栈。

GitHub项目
最新

DeepSpeed 不止省显存:训练推理一把抓的开源提速库

如果你和我一样,在本地调大模型时总被 OOM 劝退,DeepSpeed 值得花十分钟看一下。这是微软开源的深度学习优化库,专治大模型训练和推理时的显存焦虑,Apache-2.0 协议,社区相当活跃,不是躺在仓库里吃灰的项目。核心看点- ZeRO 系列优化:把模型参数、梯度、优化器状态切分到多卡或多设备上,配合 Offload 还能把部分数据放到 CPU/SSD,让原来塞不进的模型跑起来。对单卡玩家和集群用户都有实际帮助。- 推理能力同样能打:支持 DeepSpeed-Inference,包含内核融合、稀疏算子、KV Cache 等优化,同一套工具链从训练过渡到部署,不用来回切换框架。▲ github.com(阿里云通义万相 生成配图,非网页截图)- 上手不算陡:继承自 PyTorch 的写法,对已有代码改造量小。常用功能都有文档和示例,遇到问题在 GitHub Issues 里找答案很方便。适合谁主要面向用 PyTorch 做大模型训练、微调或推理的工程师与研究者。如果手里只有一两张消费级显卡,又想跑超出显存容量的模型,ZeRO-Offload 值得试试。需要熟悉 Python 和 PyTorch 基础,按 README 安装依赖即可,不需要额外 API Key。想了解具体的 ZeRO 阶段、Offload 策略和推理加速配置,直接去仓库的 README 和官方文档翻一翻。动手之前记得先确认你的 PyTorch 和 CUDA 环境匹配,再对照示例跑通一个模型,感受会直观很多:进入 DeepSpeed 仓库

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.