跳到内容

夜深了,注意休息,愿你今夜好梦。

BitNet:把大模型压到 1-bit,CPU 上也能跑推理

想在本地跑大模型,先被显卡和内存劝退的人不少。micro…

Vanna:用大白话直查数据库,把 Text-to-SQL 做进你的应用

被业务拉着要报表又要反复改口径的开发者,很多时间其实消耗…

LlamaIndex:把文档变成 RAG 知识库的编排框架

想让大模型基于自己的私有资料回答,而不是临时翻聊天记录,…

TGI 推理服务:本地大模型从 Demo 到上线还差这层

在本地把 Llama/Qwen 跑通不难,难的是把它变成…

Transformers:统一 API,换模型不用重写管线

一个人调模型最怕的不是没显卡,而是今天换这个明天换那个,…

smolagents轻量Agent框架:模型写代码当动作,告别JSON

传统Agent框架把工具调用切成JSON片段,调参时看得…

DeepSpeed 不止省显存:训练推理一把抓的开源提速库

如果你和我一样,在本地调大模型时总被 OOM 劝退,De…

Qwen-Agent:让通义千问学会调用工具的开源 Agent 框架

写 RAG 或多步推理时,最烦的就是把大模型和工具调用粘…

llm.c:几百KB C代码跑GPT-2,Karpathy手把手拆解训练

想搞懂大模型训练时那些反向传播、梯度下降到底在干什么?K…

AnythingLLM 开源知识库:文档秒变可聊天的 AI 助理

每次想用 AI 查内部资料,都得把文档上传到云端,多少有…

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.