跳至正文

帮客户配置Ollama,遇到的3个问题

有个客户找我帮忙配置本地的AI环境,说想自己跑大模型,不用联网那种。

行,上门搞定。

结果折腾了大半天,踩了三个坑,记录一下。

问题一:Docker拉不到镜像

客户电脑是Mac M2,我先让他装了Docker Desktop。然后跑Ollama官方命令:

docker pull ollama/ollama

结果报错:

Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled

在国内,这个很正常。Docker Hub被墙了。

换了个思路——用阿里云镜像加速。在Docker Desktop设置里找到Engine,添加:

{
  "registry-mirrors": ["https://mirror.ccr.cloud"]
}

reload之后,再拉,成功了。

问题二:模型下载到一半卡住

Ollama装好了,开始下载第一个模型 qwen2.5:3b:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama pull qwen2.5:3b

下载到30%左右,不动了。

以为是网络问题,又试了一次,还是卡在同一个位置。

看了下日志:

downloading model in background process

后台在跑,但是没进度。

最后发现是内存不够。M2的Mac,跑Docker,还要下载1.9GB的模型,16GB内存吃满了。

给Docker Desktop加了内存限制,改成8GB跑模型,剩下的留给系统。然后重新pull,这次跑完了。

问题三:本地跑起来很慢

模型跑起来了,但是问一个问题要等30秒才出第一个字。

检查了下,Ollama默认没开GPU加速。Mac的话需要用 –gpus all 参数,或者直接用 native 版本不要Docker:

# 卸载Docker版本
docker stop ollama && docker rm ollama

# 直接装native版本
brew install ollama
brew services start ollama

native版本直接调用M2的Neural Engine,速度快很多。同样的问题,3秒出第一个字。

总结

三个问题:

  1. Docker镜像拉不到 → 加镜像加速
  2. 模型下载卡住 → 内存不够
  3. 跑起来很慢 → 用native版本

都是基础问题,但第一次配的话确实容易卡住。客户最后自己在家跑得很顺心,说比云端省心。

有些活看着简单,做起来全是细节。