那天晚上我脑子抽了。看到一篇帖子说本地跑大模型才是真男人的浪漫，不用受API调用的气，不用看OpenAI的脸色，数据在自己手里，想怎么玩怎么玩。说得我热血上头，翻出吃灰半年的RTX 3060，12G显存，够用了吧？好，开搞。
先下Ollama，这玩意儿确实是新手福音，一行命令就能跑起来。我选了Llama 3.1 8B，心想8B参数，12G显存应该能扛住。下载花了20分钟，期间我泡了杯咖啡，觉得自己马上要成为本地大模型大师了。
跑起来的那一刻，我确实兴奋了。终端里跳出的那个>，我打了第一句话：帮我写一封辞职信，语气要委婉但坚定。
然后我等了47秒。
47秒里我盯着终端，看着光标一闪一闪，CPU风扇从安静变成嘶吼，显卡温度从35度一路爬到72度。最后它吐出来一段文字，我读了一遍，怎么说呢——像是实习生喝了三杯咖啡之后写的，意思都对，但就是哪里不对劲。
我又试了第二个问题：用Python写一个爬虫，爬豆瓣电影Top250。
这次等了1分12秒。风扇已经像飞机起飞了。我摸了一下机箱，烫得能煎鸡蛋。结果它给出的代码里，requests库拼写错了三个地方，连import都写成了impotr。
我开始怀疑人生。不是说本地大模型已经很强了吗？怎么到我这儿就翻车了？
后来我查了一下，发现问题出在量化上。8B模型完整版要16G显存，我12G根本装不下，Ollama自动给我用了4-bit量化，精度直接砍半。相当于你看4K电影结果给我播的是360p，还卡成PPT。
我不信邪，又试了Qwen2.5 7B，这个据说对中文支持好。下载，跑，问同样的问题。这次快了一点，35秒出结果。但那个“辞职信”写得像政府公文，开头就是“尊敬的领导，经过深思熟虑，本人因个人发展规划原因…”我直接笑出声。这要真发出去，老板以为我在背八股文。
折腾到凌晨两点，我跑了5个模型，试了3个不同的推理框架，显卡烧到85度，电费估计都够吃顿好的了。结果呢？没有一个能让我满意地完成一个稍微复杂点的任务。
我关掉电脑，躺在床上，越想越气。然后我拿起手机，打开了一个云API平台，充了10块钱。
选了个GPT-4o-mini，8K上下文，问同样的问题。
第一个问题：辞职信。3秒出结果。开头是“亲爱的老板，我想了很久，决定去追一只会飞的猪”，语气轻松又认真，我甚至想收藏起来以后用。
第二个问题：爬虫代码。2秒出结果。代码完整，有注释，有异常处理，还贴心地提醒我豆瓣的反爬策略。
第三个问题：用自然语言写一个数据分析报告，给一堆虚构的销售数据。5秒出结果。结构清晰，结论明确，连图表建议都给了。
我算了一下，这三个请求加起来消耗了0.12元。对，一毛二。
那一瞬间我躺在黑暗里，手机屏幕的光照在脸上，觉得自己像个傻逼。
但我不是来劝退所有人的。本地跑大模型有它的价值，只是你得搞清楚它适合什么场景。
先说适合本地跑的：隐私敏感的数据。比如你公司的财务报表、客户名单、医疗记录——这些东西打死都不能上传到云端。我有个朋友在律所工作，他们处理合同审核，所有数据必须本地处理，连内网都不让出。这种场景下，哪怕模型蠢一点、慢一点，也得忍着。
还有离线场景。坐飞机、去偏远地区、或者你像我一样住在信号不稳定的老小区，偶尔断网的时候本地模型能救急。
但如果你只是想写文案、改代码、做翻译、查资料——说真的，别折腾了。云端的性价比碾压本地。一个GPT-4o-mini的API调用成本，大概是本地跑同样任务的1/100。而且人家用的是H100集群，你用的是游戏显卡，这就像拿自行车跟法拉利比加速，不是一个维度的。
我后来想通了。本地大模型就像自己做饭，云端就像点外卖。自己做饭确实健康、可控、想加什么加什么，但你得买菜、洗菜、切菜、炒菜、洗碗，折腾一小时吃15分钟。点外卖贵一点，但省下来的时间你可以做更有价值的事。
我现在是混合派。日常写东西、改代码、查资料，用云端API。真遇到不能上传的数据，或者想玩一些实验性的东西（比如微调一个模型让它学会我的说话风格），才开本地环境。而且我现在学乖了，本地跑之前先查一下我的显卡到底能跑什么模型——12G显存老老实实跑6B以下的，别碰8B以上的量化版，那是自虐。
对了，那晚之后我拆开机箱清了清灰，给显卡换了硅脂。现在温度低了不少，跑个6B模型能控制在65度以内。如果你也打算入坑本地，建议先干这件事。别像我一样，差点把显卡烧了才想起来。
最后说一句：别被网上那些“本地大模型YYDS”的帖子骗了。他们要么用着4090，要么跑的是阉割到没法用的版本，要么就是拿一个最简单的任务来演示。真正干活的时候，云端还是香。
当然，如果你享受折腾的过程，那当我没说。毕竟我也挺享受的——虽然结果很惨，但那种控制感确实让人上瘾。就像自己修车一样，明知道去修理厂更快更便宜，但自己动手就是爽。
只是下次我会在白天折腾，而不是凌晨两点。而且我会先开空调。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现