用 Docker 在自己电脑上跑开源大模型

本地跑模型的好处是免费、离线可用、数据不出电脑。缺点是对电脑配置有要求，小一点的模型（7B 左右）建议至少 16GB 内存，有 NVIDIA 显卡会快很多。

1. 启动 Ollama

有 NVIDIA 显卡（需要先安装 NVIDIA Container Toolkit）：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

只用 CPU：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2. 下载并运行模型

docker exec -it ollama ollama run qwen2.5:7b

第一次会自动下载模型，下载完就可以直接在终端里对话。想换模型，把 qwen2.5:7b 换成 Ollama 模型库里的其他名字即可。

3. 加一个网页界面

docker run -d -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui ghcr.io/open-webui/open-webui:main

浏览器打开 http://localhost:3000，注册一个本地账号就能用了。

常见问题

容器里用不上显卡？ 检查是否安装了 NVIDIA Container Toolkit，并且启动命令里带了 --gpus=all。

下载镜像或模型很慢？ 给 Docker 配置镜像加速地址，或者换个网络环境再试。

回答很慢？ 换一个参数更小的模型，或者确认显卡确实被用上了（nvidia-smi 里能看到 ollama 进程）。