有个客户找我帮忙配置本地的AI环境,说想自己跑大模型,不用联网那种。
行,上门搞定。
结果折腾了大半天,踩了三个坑,记录一下。
问题一:Docker拉不到镜像
客户电脑是Mac M2,我先让他装了Docker Desktop。然后跑Ollama官方命令:
docker pull ollama/ollama
结果报错:
Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled
在国内,这个很正常。Docker Hub被墙了。
换了个思路——用阿里云镜像加速。在Docker Desktop设置里找到Engine,添加:
{
"registry-mirrors": ["https://mirror.ccr.cloud"]
}
reload之后,再拉,成功了。
问题二:模型下载到一半卡住
Ollama装好了,开始下载第一个模型 qwen2.5:3b:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama pull qwen2.5:3b
下载到30%左右,不动了。
以为是网络问题,又试了一次,还是卡在同一个位置。
看了下日志:
downloading model in background process
后台在跑,但是没进度。
最后发现是内存不够。M2的Mac,跑Docker,还要下载1.9GB的模型,16GB内存吃满了。
给Docker Desktop加了内存限制,改成8GB跑模型,剩下的留给系统。然后重新pull,这次跑完了。
问题三:本地跑起来很慢
模型跑起来了,但是问一个问题要等30秒才出第一个字。
检查了下,Ollama默认没开GPU加速。Mac的话需要用 –gpus all 参数,或者直接用 native 版本不要Docker:
# 卸载Docker版本
docker stop ollama && docker rm ollama
# 直接装native版本
brew install ollama
brew services start ollama
native版本直接调用M2的Neural Engine,速度快很多。同样的问题,3秒出第一个字。
总结
三个问题:
- Docker镜像拉不到 → 加镜像加速
- 模型下载卡住 → 内存不够
- 跑起来很慢 → 用native版本
都是基础问题,但第一次配的话确实容易卡住。客户最后自己在家跑得很顺心,说比云端省心。
有些活看着简单,做起来全是细节。