llama.cpp量化后8G内存真的能跑起来？

手头一台老笔记本，8G内存，寻思着本地跑个模型玩。翻到 llama.cpp 这个仓库，纯C++，量化到Q4之后7B模型居然没爆内存。编译那步卡了半小时，cmake版本太旧，换3.20以上才过。

现在挂后台当接口用，响应有点肉但能接受。有没有人试过更激进的量化档位，Q3跑起来什么德行。