准备工作与环境确认

开始安装前，先确认本地系统已安装并正确配置了Docker环境。 可以在终端或命令提示符中输入“docker --version”命令，验证Docker是否可用。

同时，建议预留足够的磁盘空间。因为后续拉取的模型文件体积可能较大。

对于Windows和macOS用户，建议使用Docker Desktop，以获得更好的管理体验。Linux用户则需确保Docker服务已启动。

Ollama是一个用于在本地运行大型语言模型的工具。将其容器化部署，可以简化依赖管理，并保证运行环境的一致性。

本教程将使用官方提供的Ollama Docker镜像作为基础。这是最稳定和推荐的方式。请确保网络连接通畅，以便顺利从镜像仓库拉取文件。

拉取镜像与基础容器运行

第一步是拉取Ollama官方镜像。 打开终端后，执行命令“docker pull ollama/ollama”。

执行后，Docker会从默认仓库下载最新的稳定版本镜像。下载完成后，可以使用“docker images”命令查看已下载的镜像列表，确认“ollama/ollama”镜像存在。

运行基础测试容器

接下来，可以先进行一次最简单的容器运行测试。使用命令“docker run -d --name ollama-test -p 11434:11434 ollama/ollama”即可在后台启动一个容器。

• -d 代表后台运行
• --name 指定容器名称
• -p 将容器内部的11434端口映射到主机的同一端口

启动后，可通过“docker ps”查看容器状态，确认其正在运行。

配置持久化数据存储

如果不做持久化，容器删除后，内部下载的模型文件也会随之丢失。 因此，配置数据持久化是至关重要的一步。

Ollama容器内，模型和相关数据默认存储在“/root/.ollama”目录下。我们需要通过“卷挂载”的方式，将这个目录映射到主机的一个本地文件夹。

创建本地数据目录

可以先创建一个用于存储数据的本地目录。例如，在用户主目录下创建“ollama-data”文件夹。

然后使用包含“-v”参数的运行命令，例如“docker run -d --name ollama -v ~/ollama-data:/root/.ollama -p 11434:11434 ollama/ollama”。

这样，容器内“/root/.ollama”路径下的所有文件，都会实际保存在主机的“~/ollama-data”目录中。

即使容器被删除或重建，模型数据依然完好无损。

常见运行报错与解决方案

端口冲突

在安装和运行过程中，可能会遇到一些典型问题。一个常见错误是端口冲突，也就是主机上的11434端口已被其他程序占用。

此时，Docker会提示端口绑定失败。解决方案是更改映射端口，例如将“-p 11434:11434”改为“-p 11435:11434”。

这样，通过访问主机的11435端口，即可连接到容器的Ollama服务。

权限错误

另一个常见问题是权限错误，尤其是在Linux系统上挂载数据卷时，容器进程可能没有权限写入主机目录。

这通常可以通过在运行前确保主机目录具有适当的读写权限来解决，例如使用“chmod”命令修改目录权限。

容器启动后立即退出

如果遇到容器启动后立即退出的情况，可以尝试使用“docker logs <容器名>”命令查看容器的日志输出。

这往往是定位问题根源最直接的方法。

基本使用与后续操作

容器成功运行并完成数据挂载后，即可通过API与Ollama进行交互。

最基本的测试是使用curl命令向本地端口发送请求，例如“curl http://localhost:11434/api/generate -d '{"model": "llama2", "prompt":"Hello"}'”。

如果收到包含文本生成的JSON响应，则说明服务运行正常。

拉取模型与日常管理

后续，可以通过命令行进入容器内部执行Ollama命令，例如使用“docker exec -it ollama ollama pull llama2”来拉取名为“llama2”的模型。

由于配置了数据卷，拉取的模型会保存在主机目录中。

• 需要停止服务时，使用“docker stop ollama”命令
• 需要再次启动时，使用“docker start ollama”命令
• 如需更新Ollama版本，只需拉取新镜像并重新运行容器（指向同一个数据卷）即可

《夸克》非常好用的免费AI浏览器

下载APP查看