ktransformers：显存不够也能跑 DeepSeek MoE
想在本地跑 DeepSeek-R1 这类大 MoE，一看…
TGI 推理服务：本地大模型从 Demo 到上线还差这层
在本地把 Llama/Qwen 跑通不难，难的是把它变成…
smolagents轻量Agent框架：模型写代码当动作，告别JSON
传统Agent框架把工具调用切成JSON片段，调参时看得…
DeepSpeed 不止省显存：训练推理一把抓的开源提速库
如果你和我一样，在本地调大模型时总被 OOM 劝退，De…
llamafile：把大模型打包成单文件，双击就能跑
跑本地大模型是不是总要先装 Python、配 CUDA、…
Transformers.js：不用服务器，浏览器里直接跑大模型推理
如果你主要写前端，又想让页面里直接跑模型，这个库值得点开…
Meta SAM 2：开源图像分割模型，物体追踪与视频遮罩一气呵成
搞计算机视觉的朋友肯定对 Meta 的 SAM 不陌生，…
DeepSeek-R1 开源推理模型：纯 RL 让大模型学会反思，效果直逼 o1
遇到复杂推理题时，很多模型要么直接猜答案，要么绕来绕去不…
FastChat：大模型部署与聊天评测的开源利器，开发者必看
如果你正为部署一个大模型做聊天服务而焦头烂额，或者想快速…
Whisper.cpp：纯C++本地语音识别，轻量部署与离线推理利器
厌倦了云端语音识别的高延迟和隐私问题？Whisper.c…
