正常情况在一个ollama下运行多个大模型，安装了ollama后，执行ollama run gemma3:27b命令即可部署运行gemma3模型，但是像我希望不断测试各种模型，而且希望不同的模型互相隔离，互不干扰，那么使用docker分别运行不同的模型就很方便。

方案设计

1. 多容器隔离：为每个模型分配独立的 Docker 容器，隔离资源（端口、存储、GPU）。
2. 持久化存储：每个容器绑定独立目录，保存模型文件和配置。
3. 端口映射：为每个容器分配不同的外部端口，避免冲突。
4. GPU 资源分配（可选）：若使用多 GPU，可为不同容器指定不同 GPU。
5. 运维脚本：通过脚本或 docker compose 管理容器生命周期。

模型部署

一、方式一

1、创建目录

如我现在要分别部署deepseek-r1:14b,gemma3:27b,还有嵌入模型bge-m3,我现在先创建三个目录：

mkdir -p ~/ollama_instances/{deepseek-r1-14b,gemma3-12b,gemma3-27b,bge-m3}

2、编写 Docker Compose 文件（推荐）

使用 docker-compose.yml 统一管理多个容器

version: '3.8'

services:
  deepseek-r1-14b:
    image: ollama/ollama
    container_name:  deepseek-r1-14b
    runtime: nvidia  # 关键配置
    environment:
      - NVIDIA_VISIBLE_DEVICES=all  # 允许使用所有 GPU
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1  # 使用 1 块 GPU
              capabilities: [gpu]
    ports:
      - "11434:11434"
    volumes:
      - ~/ollama_instances/ deepseek-r1-14b:/root/.ollama
    restart: unless-stopped

  gemma3-27b:
    image: ollama/ollama
    container_name: gemma3-27b
    runtime: nvidia  # 关键配置
    environment:
      - NVIDIA_VISIBLE_DEVICES=all  # 允许使用所有 GPU
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1  # 使用 1 块 GPU
              capabilities: [gpu]
    ports:
      - "11435:11434"
    volumes:
      - ~/ollama_instances/gemma3-27b:/root/.ollama
    restart: unless-stopped

  bge-m3:
    image: ollama/ollama
    container_name: ollama-bge-m3
    ports:
      - "11436:11434"
    volumes:
      - ~/ollama_instances/bge-m3:/root/.ollama
    restart: unless-stopped

或者在deepseek-r1-14/gemma3-27b等目录下分别创建docker-compose.yml文件

3、启用容器

docker compose up -d #启动

docker compose down #停止

4. 为每个容器初始化模型，进入每个容器安装指定模型：

# 为 deepseek-r1-14b 安装模型
docker exec -it ollama-deepseek-r1-14b ollama run deepseek-r1:14b

# 为 gemma3-12b 安装模型
docker exec -it ollama-gemma3-12b ollama run gemma3:12b

# 其他容器同理

5. 验证服务状态

# 查看所有容器状态
docker ps --filter "name=ollama-*"

# 检查某个容器的日志
docker logs ollama-deepseek-r1-14b

# 测试 API 调用（以 deepseek-r1-14b 为例）
curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:14b",
  "prompt": "Hello"
}'

6.GPU 资源分配（多 GPU 场景）

若有多块 GPU，可指定容器使用特定 GPU：

# 在 docker-compose.yml 中指定 GPU 索引
environment:
  - NVIDIA_VISIBLE_DEVICES=0  # 使用第一块 GPU

7.自定义启动脚本，编写 start_models.sh 实现自动化

#!/bin/bash

# 启动所有容器
docker-compose up -d

# 等待容器初始化
sleep 10

# 为每个容器安装模型
docker exec ollama-deepseek-r1-14b ollama pull deepseek-r1:14b
docker exec ollama-gemma3-12b ollama pull gemma3:12b
# 其他模型同理

8.监控与日志

watch -n 1 "docker stats --no-stream ollama-*"

9.集中日志收集

# 查看所有容器的合并日志
docker-compose logs -f

10.安全加固

限制资源使用

# 在 docker-compose.yml 中添加资源限制
deploy:
  resources:
    limits:
      cpus: '2'
      memory: 16G

网络隔离

# 创建私有网络
networks:
  ollama-net:
    driver: bridge

# 为容器分配网络
services:
  deepseek-r1-14b:
    networks:
      - ollama-net

11.模型管理命令

操作	命令
启动单个容器	docker start ollama-deepseek-r1-14b
停止容器	docker stop ollama-gemma3-12b
更新模型	docker exec ollama-bge-m3 ollama pull bge-m3:latest
删除模型数据	rm -rf ~/ollama_instances/gemma3-27b/*
备份模型	tar -czvf ollama_backup.tar.gz ~/ollama_instances

常见问题：

一、unknown or invalid runtime name: nvidia 错误，通常是由于 NVIDIA Container Toolkit 未正确安装或配置导致
1. 安装 NVIDIA Container Toolkit

# 添加官方仓库密钥
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

# 添加仓库源
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# 更新并安装工具包
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

2.配置 Docker 运行时

修改 Docker 配置文件以启用 NVIDIA 运行时：

# 生成或更新 Docker 配置
sudo nvidia-ctk runtime configure --runtime=docker

# 重启 Docker 服务
sudo systemctl restart docker

3.验证运行时配置

检查 Docker 运行时是否包含 nvidia：

docker info | grep -i runtime

4/调整运行命令,不再需要显式指定 --runtime=nvidia，改用 --gpus all 参数：

docker run --rm -it --gpus all nvidia/cuda:12.3.1-base-ubuntu24.04 nvidia-smi