GitHub项目

tinygrad：用很少的代码读懂深度学习与大模型推理

leaf2026年8月21日1 分钟阅读 41暂无评论

绝大多数人用深度学习框架就是调 API，想亲眼看清张量、自动求导、反向传播到底怎么运作，往往被 PyTorch 那几十万行代码劝退。tinygrad 把核心逻辑压缩得很紧凑，同时又保留了可用的训练和推理能力，适合想拆开黑盒的工程师和研究爱好者。核心看点- 极简内核：用相对很少的代码实现张量、自动求导和常见优化器，阅读它比啃 PyTorch 源码轻松得多。 - 多后端支持：同一套模型可跑在 CPU、CUDA、OpenCL、WebGPU 上，换设备时不用改写业务代码。 - 能训也能推理：既能训练小型模型，也能加载类似 LLaMA 的权重做推理，用来理解大模型内部机制正合适。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁想真正理解框架底层原理的开发者，或需要在不同设备上做轻量推理的爱好者。项目基于 Python，依赖少，纯 CPU 环境就能跑；GPU 版需要对应的驱动或 CUDA 环境，不需要 API Key。如果你早已厌倦把框架当黑盒用，点进 README 从代码目录开始走读，会有种豁然开朗的感觉。打开 tinygrad 仓库看看它是如何在紧凑代码里撑起一个完整的深度学习栈。

#AI框架 #GitHub

阅读全文参与讨论

GitHub项目

exo：把闲置的手机和旧电脑，拼成一个能跑大模型的集群

leaf2026年9月18日1 分钟阅读 40暂无评论

手里有旧笔记本、Mac mini，甚至一台吃灰的安卓机，可单机显存怎么也不够跑大模型——exo 想解决的就是这件事：把同一网络下的多台设备组成一个推理集群，让模型按层切到不同机器上跑。适合家里有闲置硬件、又想本地玩大模型的开发者和折腾党。核心看点- 自动发现组网：同局域网内的设备能互相识别，省掉手写 IP、端口和拓扑的麻烦。 - 异构混搭：Apple Silicon 与 Linux 设备可以放进同一个集群，按各自算力分担不同层。 - 开箱可用的交互：自带类 ChatGPT 的本地界面，后端对接 MLX、llama.cpp 等推理路径，常见开源模型基本能直接加载。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁典型场景是：家里有几台性能一般但联网方便的机器，想凑出更大可跑参数量，而不打算买一张大显存显卡。多机协作对局域网稳定性比较敏感，各设备需要装好 Python 环境和对应后端依赖；模型权重得自己下载，具体授权以仓库 LICENSE 和模型自身的许可条款为准。README 里列了设备支持情况和启动命令，想先看看自己手头的设备能不能凑一桌，直接翻 exo 仓库的说明文档更快。

#GitHub #人工智能

阅读全文参与讨论

GitHub项目

llm.c：几百KB C代码跑GPT-2，Karpathy手把手拆解训练

leaf2026年8月17日1 分钟阅读 40暂无评论

想搞懂大模型训练时那些反向传播、梯度下降到底在干什么？Karpathy 的 llm.c 把 GPT-2 的推理和训练压缩进一个纯 C 文件，不装 PyTorch 也能跑起来。适合想从框架里跳出来、亲眼看看 Transformer 每一步计算的开发者，也适合研究生或爱好者拿来做实验底稿。核心看点- 纯 C 实现：没有 Python 依赖，CPU 上即可编译运行；GPU 版用 CUDA 写出可对比的 kernel，让你看清 PyTorch 里那些『魔法』本质。 - 完整训练流程：不是玩具，它包含数据加载、前向、反向、AdamW 优化器，真正训练出可用的小规模 GPT 模型。 - 自带参考实现：仓库同时提供 PyTorch 参考代码，方便对照 C 版本验证数值和梯度，理解每层数学推导。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示适合机器不太够用的同学：单张消费级显卡甚至纯 CPU 都能跑通小配置，只需装好 C 编译器和 CMake；不必申请任何 API Key。想立刻动手，先跑 ./run.sh 或按 README 指引编译，然后观察 loss 下降。如果你想复现更大的 GPT-2 规模，建议使用带 CUDA 的 NVIDIA 显卡，显存越大越省心。想自己修改注意力机制或换数据集，仓库结构很短，读代码比查文档快。具体依赖、复现脚本和已知问题都在 llm.c 的 README 里，最近提交仍在更新，值得点进来看一眼。

#GitHub #人工智能

阅读全文参与讨论

GitHub项目

Perplexica：本地自托管 AI 搜索，隐私与体验兼得

leaf2026年8月20日1 分钟阅读 40暂无评论

想要 Perplexity 那样的智能搜索体验，却不想把每次查询都交给第三方服务？Perplexica 是一个能完整跑在自己服务器上的 AI 搜索引擎，从索引到生成答案都由你掌控，特别适合对数据隐私敏感的开发者或研究者。核心看点- 本地推理优先：可接入 Ollama 或 llama.cpp 等本地模型，也支持 OpenAI、Claude 这类远端 API，切换不锁死。 - 多搜索模式：内置日常对话、学术检索、视频查找等多种模式，返回结果时附带引用来源，比单纯调用大模型更贴近真实搜索场景。 - 部署友好：提供 Docker 镜像，一条命令就能启动；界面风格接近主流 AI 搜索产品，上手成本低。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁想给团队做一个私有化知识入口的工程师，或者不想让查询记录离开本机的个人用户。如果你已有一台能跑 7B 级别模型的机器，配合 Ollama 即可全本地运行；想快速尝鲜，也只需配置一个 OpenAI API Key 就能体验完整功能。项目基于 MIT 许可证，可放心二次改造。想对比不同模型在搜索场景下的表现，建议直接去 Perplexica 仓库看 README 里的部署指引，顺便翻翻 Issues 里大家分享的配置经验。

#AI搜索 #GitHub

阅读全文参与讨论

GitHub项目

Parler-TTS：开源语音合成，几行代码生成自然语音

leaf2026年8月25日1 分钟阅读 39暂无评论

做语音总被困在在线 API 的限速和账单里？Parler-TTS 让多说话人语音合成真正跑在本地，Hugging Face 出品，Apache-2.0 许可证，对开发者、内容创作者和语音研究者都很友好，不需要订阅任何云服务。核心看点- 低成本复刻音色：用 5 秒左右的音频样本描述说话人，即可生成接近目标音色的语音，支持继续微调，打造专属声线。 - 可控制风格与语速：通过自然语言描述控制情感、停顿、语速等细节，比普通 TTS 硬编码参数更加直观，适合做有声书、视频配音。 - 训练推理代码一体：仓库内置数据预处理、训练、推理全流程，社区已有大量微调教程，拿来改造并不难。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示建议准备一张 16GB 显存的 GPU，Python 3.10 以上即可运行。不需要任何 API Key，模型权重全部开放在 Hugging Face Hub，首次运行会自动下载。注意 README 中对音频采样率、时长等格式要求，先跑示例再换自己的数据。对语音克隆或可控 TTS 感兴趣的话，去仓库看示例音频和微调脚本，很快能体验复刻加改写的完整流程。传送门：Parler-TTS GitHub 仓库

#AI应用 #GitHub

阅读全文参与讨论

GitHub项目

playwright-mcp：让AI用无障碍树操控浏览器，少走截图弯路

leaf2026年9月17日1 分钟阅读 39暂无评论

想让 Agent 真的会点网页，最常翻车的地方就是截图猜坐标——页面一改版，整段自动化就废。playwright-mcp 换了个路子：把浏览器的无障碍树喂给模型，让它像读文档一样读页面。写后端脚本的、做 Agent 产品的、每天跟后台表单打交道的，都值得点进去看一眼。核心看点不靠像素靠结构：它把 Playwright 的无障碍快照暴露成 MCP 工具，模型看到的是一份带角色和元素引用的清单，点谁、填谁都按引用走，比纯视觉方案稳得多。工具链够日常：导航、点击、填表、上传文件、执行 JS、抓网络请求、截图都收在同一套 MCP 接口里，接上支持 MCP 的客户端就能用。背后是微软：Apache-2.0，更新基本跟着 Playwright 走，Issue 和 PR 都有人接。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示典型用法是让 AI 替你跑重复的网页动作：登录后台导数据、按模板批量填表、做端到端检查。需要 Node.js 环境，用 npx 起服务，然后在 VS Code、Claude Desktop 这类客户端里注册即可；要不要无头、用哪个浏览器频道，都有参数可调。这个服务本身不强制 API Key，真正调模型的是客户端那一侧。第一版建议先在测试站上跑通再引入项目。README 里写了各客户端的配置样例，Releases 也能快速看出最近改了哪块。想先跑通再决定要不要用，直接翻 playwright-mcp 仓库。

#Agent #GitHub

阅读全文参与讨论

GitHub项目

Fish Speech 语音合成：一键把文字变成自然中文配音

leaf2026年8月29日1 分钟阅读 39暂无评论

配音这活以前得花时间录音、修音，现在开源项目 Fish Speech 能把一段文字直接转成带情绪的语音，中文表现尤其自然，适合做短视频旁白、有声书或者游戏角色试音的开发者。项目仓库里模型权重、推理脚本和微调示例都齐，不用自己东拼西凑。核心看点- 中文语音质量高：针对中文韵律做了优化，读长句也不太会“机械感”，还能控制语速、停顿和情感基调。 - 支持声音克隆：给一小段参考音频，就能模仿那个人的音色，适合做个性化配音或角色一致性输出。 - 部署门槛不高：有现成的 Gradio 界面，本地有 NVIDIA GPU 就能跑，也提供 Docker 镜像，省去折腾环境的麻烦。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示想快速体验，直接 clone 仓库后按 README 装依赖，加载预训练权重就能用；要微调的话，需准备几小时到几十小时的干净语音数据，脚本和配置都在 examples 目录。许可证是开源友好的，但模型权重有单独的使用协议，商用前记得看仓库里的 LICENSE 说明。如果你正好在纠结选哪个 TTS 项目，建议先从它的 Gradio demo 听几段效果再决定。更多细节和最新更新翻翻 Fish Speech 仓库主页的 README，那里有完整的模型对比和社区链接。

#AI配音 #GitHub

阅读全文参与讨论

GitHub项目

ktransformers：显存不够也能跑 DeepSeek MoE

leaf2026年9月11日1 分钟阅读 39暂无评论

想在本地跑 DeepSeek-R1 这类大 MoE，一看显存需求就被劝退——ktransformers 就是冲这个场景来的。它把稀疏专家权重放到 CPU 内存，把注意力等密集计算留给 GPU，让单卡甚至纯 CPU 的工作站也有机会把模型跑起来，适合想本地做私有部署的开发者与研究者。核心看点- CPU + GPU 异构推理：MoE 专家层卸载到内存，显存压力明显减小，手里显卡一般但内存够大就能试。 - 工程优化到位：算子基于 GGML/llama.cpp 生态，针对 x86 做了多线程、Intel AMX 等加速路径，也支持量化权重。 - 接口友好：自带风格接近 OpenAI 的本地服务端，接现成前端或 Agent 流程不用大改代码。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁典型场景是本地验证 MoE 大模型、做内网私有推理。需要 Python 环境和编译工具链，Windows 与 Linux 各有安装说明；模型权重体积不小，下载前先对照仓库里的兼容性表格，确认硬件与量化方案，权重与代码的许可条款以仓库 LICENSE 为准（代码为 Apache-2.0）。建议先翻 README 的支持列表再决定动不动手，安装踩坑与更新动态可以顺手关注 ktransformers。

#GitHub #MoE

阅读全文参与讨论

GitHub项目

gpt-researcher：AI 自动调研写报告的开源神器

leaf2026年9月2日1 分钟阅读 38暂无评论

gpt-researcher 把“查资料写报告”这件事变成了一个能自动执行的智能体。给个主题，它会自己去搜索、读网页、交叉验证，最后产出一份带引用来源的调研报告。适合做竞品分析、技术选型、写课程任务，以及一切需要消化大量信息的人。核心看点- 不用手工开一堆网页：智能体自动规划搜索词，并支持多步搜索并行，信息收集效率明显高于人肉浏览。 - 报告不是简单拼贴：内部实现了抓取、分块、向量化、生成的完整流程，结论会列出引用链接，方便你二次核对。 - 部署方式灵活：可当 Python 库用，也有 Web 界面和 API 服务；模型能选 OpenAI、Anthropic 以及本地 LLM，不强制绑定云服务。▲ github.com（阿里云通义万相生成配图，非网页截图）适合谁开发者、研究者、产品经理和自媒体人都能上手。需要准备 LLM 的 API Key；如需联网搜索，推荐配上 Tavily 等搜索服务，没有的话用内置的 DuckDuckGo 也能跑。项目基于 Python，本地几行命令即可启动，README 里有详细的环境配置说明。MIT 许可证也意味着你可以自由修改和商用，这点对二次开发很友好。想直接体验智能体调研的完整流程，建议从 README 的快速开始读起。这个仓库的 Releases 更新很勤，Agent 相关的新特性值得持续关注——点开 gpt-researcher 往下翻，你会看到从零搭建一套自动调研系统并没有想象中复杂。

#Agent #GitHub

阅读全文参与讨论

GitHub项目

TGI 推理服务：本地大模型从 Demo 到上线还差这层

leaf2026年9月6日1 分钟阅读 38暂无评论

在本地把 Llama/Qwen 跑通不难，难的是把它变成能扛真实请求的在线服务。text-generation-inference（TGI）是 Hugging Face 官方的推理服务端，把连续批处理、量化、流式输出这些部署琐事收进一个进程，适合正在做模型上线或 RAG/Agent 后端的人。核心看点- 一条命令起服务：模型从 HF Hub 下载后，用 Docker 就能拉起推理接口，不用自己拼 web 服务。 - 部署细节内置：支持 GPTQ / AWQ / bitsandbytes 等量化方式，也处理流式输出和消息模板，省去重复的 prompt 工程。 - 生态贴合 HF：底层用 Rust 管理调度，Python 侧接入方便，配合 InferenceClient 或 OpenAI 兼容客户端都能联调。▲ github.com（阿里云通义万相生成配图，非网页截图）上手提示想少踩坑，先看 README 里的 Docker 镜像与模型约束再动手；默认适合带 GPU 的 Linux 环境，显存和 CUDA 版本随模型差异而定。拉模型走 HF Hub，网络受限就提前配镜像。仓库许可证为 Apache-2.0，公共模型不需要 API Key，私有模型则按官方 README 准备 token。如果只是想让本地大模型跑到生产环境，这个仓库值得反复比照；它更新节奏稳定，Release 和 Discussions 里能看到镜像版本与模型兼容的演进——查看 text-generation-inference

#GitHub #人工智能

阅读全文参与讨论