先确认安装目标：跑得起来比一步到位更重要

Gemma 是轻量级大模型，可在本地或服务器运行。

它适合学习推理部署、搭建个人知识助手、做文本生成测试、接入本地应用原型等场景。

配置安装环境前，建议先明确目标：

• 只是体验问答，还是要接入代码项目？
• 只用CPU，还是希望调用显卡？
• 只运行小参数模型，还是准备长期管理多个模型文件？

目标不同，环境选择会有明显差异。

普通用户最省心的路线是使用 Ollama 这类本地模型管理工具。下载、运行、切换模型都很简单。

开发者更适合使用 Python、Transformers、PyTorch 组合，方便二次开发和接口封装。

追求轻量部署或低配置设备运行，可考虑 llama.cpp 生态，重点关注量化模型与内存占用。

无论选择哪条路线，都应提前规划好“系统环境、模型存放目录、缓存位置、备份策略”。这能避免后期磁盘占满或路径混乱。

基础环境配置：系统、硬件与依赖检查

硬件检查

安装前先检查硬件。若使用CPU运行，建议内存不低于16GB，运行小型量化版本会更稳。

若使用显卡，建议显存至少8GB起步。显存越大，可选择的模型版本越多。

磁盘方面，单个模型文件可能从数GB到十几GB不等。建议预留50GB以上空间。若要管理多个版本，最好单独准备数据盘。

系统选择

系统方面，Windows、macOS、Linux 都可以运行 Gemma，但教程执行方式不同。

• Windows 用户：建议安装较新的显卡驱动，并使用 PowerShell 或终端工具执行命令。
• macOS 用户：可优先选择原生支持较好的工具。
• Linux 用户：适合部署长期服务，但要注意权限、服务用户和目录归属。

Python路线建议使用 Python 3.10 或 3.11，并搭配虚拟环境，避免把依赖直接装到系统环境里。

显卡与CUDA

显卡用户还要确认驱动、CUDA版本和PyTorch版本是否匹配。

很多安装失败并不是模型问题，而是驱动过旧、运行库缺失或安装了不匹配的包。

最稳妥的做法是：先在官方文档选择对应系统的安装命令，再执行一个简单的张量测试。确认能识别显卡后，再下载模型。

免费安装方案一：用 Ollama 快速运行

Ollama 适合想快速体验 Gemma 的用户。

基本思路是：安装工具、拉取模型、启动对话、按需调整数据目录。

安装完成后，在终端中执行模型拉取命令，再用运行命令启动交互即可。

它的优势是上手简单，模型管理统一，适合个人电脑长期使用。

需要注意的是，Ollama 会把模型文件保存到默认目录。随着使用时间增加，目录体积会快速变大。

安装前建议先确认系统盘剩余空间。如果系统盘空间有限，应在首次大量下载模型前完成数据目录迁移，避免后面移动大文件耗时过长。

运行服务时还要注意后台进程是否已启动，端口是否被其他程序占用。

免费安装方案二：Python + Transformers

这条路线适合开发者。

推荐新建项目目录，然后创建虚拟环境，安装 PyTorch、Transformers、Accelerate 等依赖。

模型文件可通过模型平台下载，也可以在代码中按需加载。

优点是灵活，可接入自己的脚本、接口服务、批处理任务或评测流程。缺点是依赖多，对环境一致性要求更高。

建议把项目代码、虚拟环境、模型缓存分开管理。

• 代码目录用于保存脚本和配置。
• 虚拟环境只放依赖。
• 模型缓存放到容量更大的数据盘。

这样升级依赖、删除环境或迁移模型时不会互相影响。若多人共用同一台机器，还要为不同项目设置独立缓存路径，避免版本冲突。

免费安装方案三：llama.cpp 与量化模型

低配置设备可以考虑 llama.cpp 及其兼容格式模型。

它的核心优势是资源占用低，很多量化版本可在普通电脑上运行。

安装时需要准备编译工具或下载已编译版本，再把模型文件放到指定目录，通过命令行加载运行。若设备支持特定硬件后端，可在编译或启动参数中启用相应优化。

量化模型虽然更省资源，但生成质量、速度和内存占用会因量化等级而变化。

初次使用可先选择体积较小的版本，确认流程跑通后再尝试更高质量版本。

不要一开始就下载多个大文件，否则排查问题时很难判断是模型格式、参数还是硬件资源导致失败。

数据目录迁移：什么时候需要移动

当系统盘空间不足、模型目录增长过快、准备把模型统一放到数据盘、或要把环境迁移到新设备时，就需要进行数据目录迁移。

迁移的关键不是简单复制文件，而是确保“服务已停止、文件完整、路径正确、权限可读写、旧目录可回退”。

尤其是模型管理工具正在运行时，不建议直接移动文件，否则可能出现索引损坏、下载中断或重复占用空间。

迁移前先记录当前目录位置和工具版本，再查看目标磁盘空间是否充足。

建议目标路径只使用英文、数字和短横线，尽量避免过长路径和特殊符号。

Windows 下还要留意目录权限；Linux 下要确认运行服务的用户对目标目录拥有读写权限。

Ollama 数据目录迁移步骤

第一步，停止正在运行的 Ollama 服务。Windows 可在任务管理器或服务管理中结束相关进程；macOS 和 Linux 可通过服务管理命令停止。确认没有模型正在下载或推理后再操作。

第二步，找到默认模型目录。不同系统路径不同，通常位于用户目录或系统服务目录下。将整个模型目录复制到新的数据盘，例如 D:AIModelsollama 或 /data/ai/ollama。复制完成后不要立刻删除旧目录，先保留作为临时备份。

第三步，设置新的模型目录环境变量。Ollama 支持通过环境变量指定模型存储位置。Windows 可在系统环境变量中新增对应变量并填入新路径；Linux 可在服务配置中加入环境变量；macOS 可根据启动方式配置。设置后重启终端和服务，确保新变量生效。

第四步，运行模型列表命令检查是否能识别已迁移模型，再启动一个小模型做测试。如果模型能正常响应，说明迁移成功。观察一段时间后，再删除旧目录释放空间。若识别不到模型，先检查变量名、路径拼写、权限和服务是否重启，不要急着重复下载。

Transformers 缓存目录迁移步骤

Python 生态中，模型缓存通常由相关库统一管理。迁移时可设置缓存环境变量，将模型下载位置指向新目录。

推荐在项目启动脚本或系统环境变量中配置，保证每次运行都使用同一路径。

常见做法是设置模型平台缓存目录、Transformers缓存目录和数据集缓存目录，避免不同组件各自写入系统盘。

具体操作思路：先关闭正在运行的 Python 任务；把旧缓存目录复制到新位置；设置新的缓存环境变量；重新打开终端；运行一段简单加载代码测试。

若代码仍然从旧目录读取，说明环境变量未生效，可能是IDE、服务进程或计划任务没有重新加载环境。此时应重启相关程序，而不是反复改代码。

迁移后的校验与清理

目录迁移完成后至少做三项检查：

• 模型列表能正常显示。
• 随机加载一个模型可以完成推理。
• 新目录在运行后出现访问记录或新增文件。

确认无误后，再清理旧目录。清理前建议把旧目录改名保留一两天，例如加上 .bak 后缀，确认没有程序再访问旧路径后再删除。

还应检查磁盘剩余空间和备份策略。模型文件体积大，不一定都需要长期保留。可定期删除未使用版本，只保留稳定可用的模型。

若团队协作，建议建立模型清单，记录模型名称、版本、来源、大小、用途和存放路径，避免多人重复下载。

常见问题排查

问题一：安装成功但运行很慢。 常见原因是使用了CPU推理、显卡未被识别、模型版本过大或上下文参数设置过高。先确认硬件识别，再换用更小或量化版本测试。

问题二：提示内存不足。 可降低模型规模、使用量化版本、关闭其他占用资源的程序，或减少并发请求。不要强行加载明显超过硬件能力的模型，否则容易导致系统卡顿。

问题三：迁移后模型丢失。 多数是环境变量未生效、路径写错或服务仍使用旧配置。重启终端、应用和后台服务，再检查目录权限。确认文件存在后再重新索引或重新执行列表命令。

问题四：Python依赖冲突。 建议删除当前虚拟环境后重建，而不是在同一环境中反复覆盖安装。依赖文件要固定版本，便于后续复现。

安全边界与使用提醒

安装 Gemma 时应优先选择官方或可信来源。下载模型前查看许可证、适用范围和文件完整性。

不要运行来源不明的脚本，不要把敏感资料直接放入测试样例。

若用于企业内部资料处理，应先确认数据是否允许进入本地模型流程，并限制日志记录范围。

本地模型并不等于绝对安全。推理记录、缓存文件、临时输出都有可能留在磁盘上。

多人共用设备时，应设置独立账户和目录权限。

对外提供接口时，要限制访问来源、并发数量和上传内容大小，避免服务被异常请求拖垮。

免费方案检查清单

安装前检查： 系统版本是否支持，显卡驱动是否正常，Python版本是否合适，磁盘是否预留足够空间，目标模型是否符合硬件能力。

下载前检查： 模型来源是否可信，许可证是否允许当前用途，文件大小是否可接受，是否已有相同版本。

迁移前检查： 服务是否停止，旧目录位置是否记录，目标目录是否可读写，是否完成完整复制，是否保留临时备份。

迁移后检查： 环境变量是否生效，模型列表是否正常，推理测试是否通过，新目录是否产生访问记录，旧目录是否暂缓删除。

长期使用检查： 定期清理无用模型，记录版本和用途，固定项目依赖，备份关键配置，避免把系统盘当作长期模型仓库。

只要环境、目录和版本管理清楚，Gemma 的本地安装与迁移并不复杂，后续升级和故障处理也会轻松很多。