gpt-oss：OpenAI 放出权重，单卡也能跑起推理
想在本地跑一个会调工具、能推理的开源模型，又不想被一堆胶…
candle：用 Rust 写推理引擎，本地跑 LLM 和扩散模型
如果你试过在 Python 环境里折腾本地模型推理，大概…
ktransformers：显存不够也能跑 DeepSeek MoE
想在本地跑 DeepSeek-R1 这类大 MoE，一看…
TGI 推理服务：本地大模型从 Demo 到上线还差这层
在本地把 Llama/Qwen 跑通不难，难的是把它变成…
smolagents轻量Agent框架：模型写代码当动作，告别JSON
传统Agent框架把工具调用切成JSON片段，调参时看得…
DeepSpeed 不止省显存：训练推理一把抓的开源提速库
如果你和我一样，在本地调大模型时总被 OOM 劝退，De…
llamafile：把大模型打包成单文件，双击就能跑
跑本地大模型是不是总要先装 Python、配 CUDA、…
Transformers.js：不用服务器，浏览器里直接跑大模型推理
如果你主要写前端，又想让页面里直接跑模型，这个库值得点开…
Meta SAM 2：开源图像分割模型，物体追踪与视频遮罩一气呵成
搞计算机视觉的朋友肯定对 Meta 的 SAM 不陌生，…
DeepSeek-R1 开源推理模型：纯 RL 让大模型学会反思，效果直逼 o1
遇到复杂推理题时，很多模型要么直接猜答案，要么绕来绕去不…
