跳到内容

夜深了,注意休息,愿你今夜好梦。

GitHub项目

共 149 篇文章

GitHub项目

LLM-Fine-Tuning:高效微调大模型的实战工具箱,LoRA/QLoRA全支持

如果你正为如何在自己的数据上高效微调大语言模型而头疼,这个仓库就是你的救星。它提供了从环境配置到模型部署的完整微调流水线,尤其适合那些既想节省GPU资源、又希望获得专业级微调效果的开发者。项目基于Hugging Face生态构建,对新手友好,同时保留了高级调优的灵活性。核心看点- 一键式微调脚本:支持 LoRA、QLoRA、全参数微调三种模式,只需修改配置文件即可切换,无需手动编写训练循环。 - 多模型兼容:已适配 Llama 2/3、Mistral、Qwen、ChatGLM 等主流开源模型,并持续更新。 - 实用工具链:内置数据格式转换、分词器预处理、训练监控与评估脚本,减少重复造轮子。▲ github.com(阿里云通义万相生成配图,非网页截图)上手提示推荐在单张 24GB显存 的GPU(如RTX 4090)上运行QLoRA,可微调7B参数模型。需要安装Python 3.10+和PyTorch 2.0+,无需任何API Key。项目采用 Apache-2.0许可证,可自由用于商业和研究。想快速体验微调效果?直接克隆仓库并按README中的示例命令跑一遍,几分钟内就能看到模型在自定义对话数据上的表现。更多调参技巧和模型支持列表,记得去 GitHub仓库 的Issues和Wiki里探索。

GitHub项目

Aider:终端AI结对编程,多模型+自动Git提交真香

如果你经常在命令行里写代码,又想让大模型帮你改bug、加功能,Aider值得一试。它把AI助手直接嵌进终端,你只需要用自然语言描述需求,Aider就能读懂项目上下文,替你做编辑,甚至自动生成Git提交——连git commit -m都不用敲。核心看点-全栈上下文感知:Aider会扫描你的仓库结构、文件内容,结合Git历史和对话记忆,理解代码意图再下手改,不是那种“改完跑不通”的盲改。 -模型自由:默认支持OpenAI、Anthropic、Google Gemini等闭源模型,也能切换本地模型(通过Ollama或vLLM)。如果换了模型,整个会话会自动调整角色设定,体验很丝滑。 -天然Git集成:每次AI修改都会自动生成独立commit,方便你用git revert回滚。如果某次改崩了,直接抛弃那个commit就行,心理负担小很多。▲ github.com(阿里云通义万相 生成配图,非网页截图)上手提示安装只要一行pip install aider-chat,然后在项目目录下运行aider,第一次会引导你配置API Key。建议准备一个OpenAI或Anthropic的API Key来体验完整功能;如果本地有GPU,也可以用Ollama跑CodeLlama等模型(速度会慢些,但免费)。Aider会自动识别项目语言,Python、JavaScript、Go、Rust等主流语言都支持得不错。Aider的README写得特别详细,还附了一个真实项目的demo视频,看完基本就上手了。建议去仓库的Releases看最新变化,或者Issues里翻翻别人踩过的坑,比自己摸索快很多。

GitHub项目

smolagents轻量Agent框架:模型写代码当动作,告别JSON

传统Agent框架把工具调用切成JSON片段,调参时看得眼花;smolagents干脆让模型直接用Python代码行动,更顺手。想在本机快速试Agent、又嫌编排框架太重的开发者,会喜欢这种“少一层包装”的设计。核心看点- 代码即行动:模型输出可执行的Python代码块来调用工具,省去JSON解析和校验,调试时直接看代码逻辑更直观。 - 轻量可跑:核心代码很少,本地小模型也能用;想接GPT、Claude等API也支持,适合在普通笔记本上起步。 - 背靠Hugging Face:Apache-2.0许可,文档和示例齐全,社区迭代快,和Transformers生态无缝衔接。▲ github.com(阿里云通义万相 生成配图,非网页截图)适合谁想做Agent原型、对比推理策略的开发者最合适。有GPU可以直接跑本地模型,没有的话配个API Key也行;模型需要具备一定的代码生成能力,像Qwen、Llama系列都能玩起来。想看看“代码型Agent”和“JSON型Agent”的实际差异,建议去仓库翻官方示例和实验对比。顺便 Star 一下 smolagents 跟踪更新。

GitHub项目

LlamaIndex:把文档变成 RAG 知识库的编排框架

想让大模型基于自己的私有资料回答,而不是临时翻聊天记录,LlamaIndex 是绕不开的选择之一。它不只帮你读取 PDF、维基和接口数据,把「切分—检索—合成」组织成可复用的模块,适合正在做 RAG 应用或者团队问答工具的人。核心看点给开发者最直观的几点物:多类型索引不只是向量库那一套,摘要索引、知识图谱索引等让不同问题有不同走法;统一数据接入内置几十种 loader,也能和 LangChain、LlamaHub 生态互相借力;高层 API + 可观测性用 query engine 几行代码出结果,回调机制能追踪每一步上下文来源。MIT 许可也让二次定制少些顾虑。▲ github.com(阿里云通义万相 生成配图,非网页截图)适合谁想快速验证 RAG 原型的调研者、做私有知识库的工程师、研究检索策略的人都能用得上。它是 Python 项目,本地装好依赖就能跑;底层模型默认接 OpenAI,也支持换本地推理端点,所以不一定需要 API Key,具体看选哪个 provider。如果觉得 README 入口太多,建议先挑 examples 里的 starter 跑一遍,再决定要不要碰更复杂的索引。动手前记得按仓库 LICENSE 确认自己的使用方式。LlamaIndex 的新思路和新模板更新很快,值得进去看两眼:打开 LlamaIndex

GitHub项目

RAG 新范式:用 GraphRAG 实现知识图谱驱动的检索增强生成,告别简单向量搜索

当传统 RAG 在复杂关系推理上频频碰壁时,GraphRAG 通过将知识图谱与 LLM 结合,让检索不再只是“找相似段落”,而是能沿着实体关系链进行多跳推理。这个仓库由微软研究院开源,提供了完整的 pipeline:从文档中自动抽取实体与关系、构建图索引、再到基于社区的问答生成,特别适合处理需要跨文档、多实体关联的深度知识问答场景。核心看点- 超越向量搜索:不是简单用 Embedding 做相似度匹配,而是构建 实体-关系图,支持全局性、聚合性的查询(如“这些文档中反复出现的关键主题是什么?”)。 - 自动图谱构建:利用 LLM 从原始文本中提取实体、关系和协变量,生成模块化的图结构,无需人工标注。 - 社区级问答:通过 Leiden 算法对图进行层次化社区划分,每个社区自动生成摘要,实现从局部到全局的多粒度回答,比传统 RAG 更擅长处理“总结性”问题。▲ github.com(阿里云通义万相生成配图,非网页截图)上手提示- 需要 Python 3.10+ 和 OpenAI API Key(或兼容端点),本地运行对内存有一定要求(建议 16GB+)。 - 仓库提供了 graphrag.index 和 graphrag.query 两个核心命令,README 中附有完整的使用示例和输出格式说明。 - 许可证为 MIT,社区活跃,Issue 区有大量关于图参数调优和中文文本适配的讨论,值得参考。对知识密集型应用(如企业文档库、科研综述、法律案例检索)的开发者来说,GraphRAG 提供了一条值得深入探索的技术路径。更多细节和配置指南请移步仓库 microsoft/graphrag。

GitHub项目

OpenWebUI:LLM 交互前端,让本地模型拥有 ChatGPT 级体验

如果你厌倦了在终端里敲命令行调用本地大模型,或者觉得 Ollama 的原生界面太简陋,那 OpenWebUI 就是你要找的答案。它把 llama.cpp、Ollama 等推理后端包装成一套漂亮、可扩展的 Web 界面,支持多模型切换、RAG 知识库、对话历史管理与插件系统,让本地模型体验直接对标 ChatGPT。核心看点- 开箱即用的多模型管理:支持同时连接 Ollama 和 OpenAI 兼容 API,可在同一界面内自由切换不同 LLM,方便对比效果。 - 内置 RAG 与文件上传:用户可上传 PDF、文档等文件,自动进行文本嵌入与检索,实现基于本地知识的问答,无需额外搭建向量数据库。 - 丰富的插件与权限体系:支持自定义工具链、用户分组、API 密钥管理,适合团队协作部署,也便于开发者二次扩展功能。▲ github.com(阿里云通义万相生成配图,非网页截图)上手提示推荐搭配 Ollama 或 llama.cpp 使用,只需 Docker 一键启动(docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui),无需 GPU 也能跑通基础对话。若启用本地 RAG,建议至少 8GB 内存;若需联网搜索或调用付费模型,需准备相应 API Key。项目采用 MIT 许可证,社区活跃,Issue 响应快。从个人实验到团队知识库,OpenWebUI 把本地模型的门槛降到最低。不妨直接打开 OpenWebUI 仓库主页 看看 README 里的部署演示,五分钟就能拥有自己的 AI 聊天台。

GitHub项目

Chrome 小模型也能跑 RAG:Surya 精准文档 OCR 与版面解析

如果你正头疼 PDF 表格、多栏排版、数学公式在 RAG 流水线中频频丢失语义,Surya 可能是你一直等的那个“文档理解”利器。这个开源项目专为复杂文档 OCR 与版面分析设计,能准确识别文本、表格、公式、页眉页脚,并输出结构化的 Markdown 或 JSON,让后续的检索与问答不再依赖“先转图片再瞎猜”的笨办法。核心看点- 精准版面解析:支持检测标题、段落、表格、图片、公式等 20+ 种区块,对多栏、手写混排、扫描件都有不错的鲁棒性,输出结构可直接喂给 RAG 分块逻辑。 - 轻量级 OCR 引擎:基于 Transformer 架构,不依赖云 API,单张 A100 或 RTX 4090 即可跑出高精度结果,Apache-2.0 许可证下可自由商用。 - 结构化输出与管线友好:能直接输出 Markdown(含表格、公式 LaTeX)、HTML 或带坐标的 JSON,方便与 LangChain、LlamaIndex 等框架集成,省去后处理脏活。▲ github.com(阿里云通义万相生成配图,非网页截图)适合谁- RAG 应用开发者:需要将 PDF/扫描件拆成语义完整的文本块,Surya 的版面识别能大幅减少“表格被切碎”“公式变乱码”的痛点。 - 文档智能研究者:想快速获得高质量标注数据,或对比不同 OCR/版面分析模型效果。 - 需要本地部署的团队:模型权重约 1.5GB,单 GPU 即可推理,无需调用外部 API,数据安全可控。依赖 Python 3.9+、PyTorch,推荐至少 8GB 显存。无论你是想给 RAG 管线加个“文档理解”层,还是单纯需要比 Tesseract 更聪明的 OCR,Surya 都值得点进仓库细看 README 和在线 Demo。想体验完整能力,直接去 Surya GitHub 仓库 克隆运行,或看看作者提供的 Colab 笔记本。

GitHub项目

Ragas:给RAG系统做体检的开源评估框架,开发者的Debug提效利器

如果你的RAG应用总出“答非所问”的幻觉,盲目调prompt或embedding就像在黑箱里打转。Ragas提供了一套结构化的评测指标(忠实度、答案相关性、上下文精度等),让你能量化知道哪里出了问题,而不是靠感觉迭代。核心看点- 端到端评估:覆盖检索(context recall/precision)和生成(faithfulness、answer relevancy),避免只看LLM输出而忽略检索质量。 - 无须人工标注:利用LLM自动生成测试集并打分,配合少量文档就能跑通评估流程,降低上手成本。 - 可与LangChain/LlamaIndex集成:把评估挂到现有pipeline里,每次修改后一键跑分,用数字追踪改进效果。▲ github.com(阿里云通义万相 生成配图,非网页截图)适合谁正在构建或优化RAG系统的开发者、研究员。项目用Python 3.8+,依赖OpenAI或本地LLM(如通过Ollama)作为评估模型,无特殊GPU要求。API Key视评估模型而定,评测逻辑本身不需要额外秘钥。想给你的RAG应用装一个客观的“监工”?去仓库README看一下metric说明和示例,用pip install ragas就能开始跑第一轮评估:Ragas GitHub

GitHub项目

Mochi 1 开源视频生成:一句提示词生成流畅电影级动态

如果你试过 Sora 但没资格内测,或者被闭源模型的价格劝退,Genmo 开源的 Mochi 1 可能是目前最值得你本地跑一把的视频生成模型。它用 Apache-2.0 许可发布,不需要排队,直接下载权重就能在单卡 A100 上生成 5 秒左右的连贯视频,效果直逼商业方案。核心看点端到端视频扩散:基于 Asymmetric VAE 和 Transformer 架构,直接在 RGB 像素空间生成视频,省去了单独动捕或帧插值步骤。支持 8 秒 540p 的原始分辨率,运动幅度和物体一致性比前代 CogVideoX 更自然。开源权重 + 商业友好许可证:模型权重和推理代码一并放出,MIT 许可证改写和商用限制极少,无论是做独立创作者工具原型还是集成到自家产品,法律风险都很低。▲ github.com(阿里云通义万相 生成配图,非网页截图)社区灵活扩展:官方提供了 Gradio 网页界面和 CLI 两种启动方式。已有开发者尝试 LoRA 微调来控制特定风格,Issues 里也有人在讨论低显存优化(如 FP8 量化)。上手提示建议使用 Linux + Python 3.10,单张 A100(40GB) 即可跑 5 秒视频;如果只有 24GB 显存(如 3090),可以降低帧数量或用官方的蒸馏版模型。权重自动从 HuggingFace 下载,约 10GB。仓库的 README 里贴了现成的 pip install -r requirements.txt 和启动命令,十分钟就能看到第一个 demo。想立刻体验文字到视频的创作快感,直接戳 genmo/mochi 跑起官方脚本,Issues 区还有不少社区调参经验等你挖。

GitHub项目

opencode:把 AI 编程代理装进终端,会话还能分享给同事

如果你大部分时间待在终端里,大概不想为了用 AI 改代码再切到浏览器。opencode 想做的是把这件事按回键盘前:在项目目录里起一个 TUI,让它读文件、改代码、跑命令,改了什么一眼能看清。常用 CLI 的开发者、想给团队统一一套 AI 编码流程的人,会比较有感。核心看点- 终端原生界面:不依赖 IDE 插件,改动以 diff 形式呈现,接受还是回退都在同一个窗口完成,上下文不用来回复制粘贴。 - 模型可自由替换:通过 provider 配置接入 Anthropic、OpenAI、Google 以及本地推理端点,不想被某一家绑住的话这点很实在。 - 会话可分享:每条会话能生成链接,复盘思路时把链接丢给同事,比截图和口头描述省事;客户端与服务端分离,也方便跑在远端机器上。▲ github.com(阿里云通义万相 生成配图,非网页截图)上手提示需要 Node.js 环境,装好后配置好模型和 API Key 即可启动;如果走本地模型,把端点指向自己的推理服务也行。仓库采用 MIT 许可,代码本身宽松,但调用的第三方模型服务条款要单独看,以仓库 LICENSE 与各家说明为准。建议第一次在测试分支或临时目录里跑,确认行为符合预期再用于正式项目。想判断合不合手,最快是翻 README 里的安装命令和配置片段,再去 Releases 看最近的改动、Discussions 里看别人踩过的坑。到 GitHub 看 opencode

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.