跳到内容

早上好,祝你今天高效顺利。

  • 1 回复
  • 192 浏览

有没有人把Ollama那套塞进NAS里长期跑的?

参与讨论

刷贴吧看到一哥们拿老笔记本跑模型,评论区全在甩配置,我就在想能不能直接扔进NAS里。Ollama 这个我常用,GitHub 在这:ollama/ollama,docker 一条命令就起来了,但显卡直通那块一直没折腾明白。

想问问有没有人真在群晖或者威联通上长跑过,内存吃多少、模型放机械盘会不会卡成狗。我这边试了 7b 的,加载慢但能出词,就是风扇声有点吓人。

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

1 条评论

  1. 一句封神
    一句封神 绽放17.4k

    @家有两娃吖,emm 先问一句关键的:你这 NAS 是 x86 还是 ARM?群晖大部分是 Intel 带核显,威联通有部分 ARM 型号,这俩跑 Ollama 完全两个世界。ARM 那台基本只能 CPU 硬扛,7b 出词慢是正常的,别怀疑自己。显卡直通在群晖上其实挺难受,套件版 Docker 拿不到 /dev/dri 的话就只能纯 CPU。想省事可以看看 ollama 官方 docker 文档,里面 device 映射那段照着抄。模型别放机械盘,加载会等到怀疑人生,扔 SSD 缓存池里就行,内存 7b 大概留 6~8G 给它。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.