Ollama + 迷你主机：把 AI 装进客户内网，小团队也能收年费

上个月见了个做财税代理的老板，他说想用 AI 把十几年的底稿、政策解读、内部培训资料串起来查，但客户账务数据一份都不能出内网。这类需求今年明显变多，而且往往不来自大公司，来自三十人到两百人的律所、财税所、设计院、专科门诊、做非标件的工厂。

他们的共同点是：资料值钱、体量不大、请不起大厂的私有化项目。这正好是小团队能站的位置。

为什么现在做得了

三年前做本地部署，要专业卡、要改机房，报价六位数起步。现在一台带大显存显卡的迷你主机，或者一台统一内存的台式机，就能跑下 14B 到 30B 级别的量化模型。检索挂一个轻量向量库，前端用现成的开源问答界面，整套东西装在一个盒子里，出问题拔电重启就能恢复。

工具链也够用了：Ollama 管模型加载，llama.cpp 负责推理，Dify 这类做流程编排。你不需要训模型，做的是组装、调优、交付这三件苦活——恰好是客户最不想自己干的部分。

怎么收钱，边界在哪

• 一次性硬件与实施费：机器成本加 1.5 到 3 倍的服务费。别按工时报价，客户听不懂，也不愿意为你的熟练度买单。
• 年度维护费：模型升级、资料库重建、索引修复，按年收，大致是一次性费用的 15% 到 25%。
• 不承诺的东西：不说准确率多少，不说替代法务、会计或医生。合同里写清楚，这是检索和起草辅助工具，所有结论需人工复核。

这条线最怕的是拿客户的执业领域做承诺。给律所装检索，不要说能出法律意见；给门诊装资料库，不要说能辅助诊断。你卖的是找得到、答得快，不是专业判断本身。这类场景往往涉及个人信息与行业数据要求，客户侧的合规评估由客户自行判断，必要时请专业顾问介入。

第一批客户从哪来

别投广告。先翻自己的熟人圈：朋友的律所、老同学开的代账公司、以前合作过的设计院。第一家家免费做，换一个可以对外讲的案例和一段客户原话；第二家开始收费；第三家之后开始收窄行业——同一个行业做三家，你的实施周期能从两周压到三天。

话术可以很简单：一次装好，资料不出门，用不惯就当买了台工作站。把决策门槛降下来，比讲清楚架构有用得多。

谁适合先试

有运维或后端经验、能上门一次搞定机柜和网络的人，最适合。纯做算法、没碰过硬件的，先给自己装一台练手，顺手把过程录下来。

第一步不用找客户：拿一份公开的合同集或产品手册，在自己电脑上完整跑通一次离线问答，录成两分钟视频。这比任何方案书都管用。