在本地部署Llama3，打造一个属于自己的大模型助手，这事儿其实比想象中简单。关键在于一个工具——Ollama。下面先把这个概念说清楚，再一步步带着操作。

Ollama是什么？

Ollama 是一个命令行工具，专门用来在本地电脑上运行大型语言模型（LLMs）。它可以下载并本地运行像 Llama 3、Code Llama 这类模型，还支持自定义创建自己的模型。

关键是——Ollama 完全免费且开源，支持 macOS、Linux 和 Windows 系统。官方还提供了 Docker 镜像，方便用容器部署。所有交互都在本地进行，私有数据不会发送到任何第三方服务，隐私安全有保障。

安装

理解之后，就去官网下载 Ollama 程序吧。

官网下载页面：https://ollama.com/download

以 Windows 为例，直接下载 Windows 版本。

下载好的安装包大小约 212 MB，双击开始安装：

默认安装到 C 盘，不过确实没给自定义路径的选项，这点略感不便。

安装完成后，按下 Win + R 调出运行窗口，输入 cmd 打开控制台。然后执行命令：

ollama run llama3

系统就会自动下载 Llama3 模型。

稍等片刻，模型就下载好了。下载的文件默认存放在以下目录：

测试

装好了当然得试试效果。先问个问题看看回答逻辑：

再测试中文能力：

从实际表现来看，回答逻辑清晰，响应速度也很快，日常使用完全够用。

到这里，在本地用 Ollama 部署 Llama3 的教程就结束了。操作很简单，有条件的可以自己动手试试，搭建一个完全属于自己的本地大模型助手。

《夸克》非常好用的免费AI浏览器

下载APP查看