一、准备工作：确认运行方式与硬件条件

理解 Flowise 与本地模型

Flowise 是一款可视化 AI 工作流工具。它适合用拖拽节点的方式搭建问答机器人、知识库检索、文本处理和自动化流程。

本地模型运行的核心思路是：让模型在自己的电脑或内网服务器上启动，再由 Flowise 通过接口调用。

这样做的优势在于：数据不必发送到第三方服务。它适合企业内部资料问答、离线演示、研发测试和成本可控的原型验证。

开始前的三项确认

第一，确认硬件算力。普通办公电脑可以运行 1B、3B、7B 等小参数量模型。如果希望更流畅，建议使用具备独立显卡的设备。

第二，确认运行方案。常见方式包括 Ollama、LM Studio、LocalAI 等。其中，Ollama 部署简单，适合新手。LM Studio 图形界面友好，便于选择和管理模型。

第三，准备好 Flowise 环境。Flowise 可通过 npm 或 Docker 安装。个人测试建议先用 npm。团队环境更推荐容器化部署，便于迁移和维护。

二、安装 Flowise：本地启动基础环境

npm 安装方式

如果使用 npm 安装，需要提前安装 Node.js，建议选择 LTS 版本。

安装完成后，在终端执行 Flowise 的安装命令，并启动服务。

默认情况下，Flowise 会在本机开放一个 Web 管理页面。浏览器访问对应地址即可进入工作台。

首次使用建议设置登录凭据。这样可以避免同一网络内其他人误操作。

Docker 安装方式

如果采用 Docker，重点检查以下三项：镜像版本、数据挂载目录和端口映射。

数据挂载非常重要。Flowise 中创建的流程、凭据和配置都应保存到宿主机目录，避免容器更新后丢失。

无论哪种安装方式，都建议先创建一个简单的 Chatflow 测试页面。确认页面是否能正常保存、运行后，再继续配置本地模型。

三、模型下载：按场景选择合适模型

选择模型的原则

本地模型不是越大越好。选择时应以使用场景和硬件条件为准。

• 用于中文问答、文档总结、客服辅助：可以选择对中文支持较好的通用模型。
• 用于代码生成：可选择偏代码能力的模型。
• 用于轻量对话：3B 或 7B 量化版本通常更实用。

量化模型会降低显存和内存占用。常见的 Q4、Q5 版本在速度和效果之间较平衡，适合多数本地部署场景。

模型下载操作

以 Ollama 为例，安装后可通过模型拉取命令下载指定模型。下载完成后，Ollama 会自动管理模型文件，不需要手动解压。

若使用 LM Studio，则可在软件内搜索模型并下载。下载后需在本地服务页面启动 OpenAI 兼容接口。

注意事项：模型文件通常较大，下载前应预留足够磁盘空间。尽量选择稳定来源，避免使用来源不明的模型文件。

四、路径设置：让 Flowise 正确连接本地模型

模型路径设置

Flowise 本身通常不直接读取大模型权重文件，而是连接一个已经运行的本地推理服务。

因此，“路径设置”主要分为两类：

• 模型管理工具的模型存放路径。
• Flowise 中的接口地址配置。

Ollama 默认会将模型保存到系统指定目录。如需修改，可通过环境变量设置模型目录。修改后要重启 Ollama 服务，并确认新目录具备读写权限。

Flowise 接口配置

在 Flowise 中创建 Chatflow 后，可以添加 Chat Model 节点。

如果本地模型服务兼容 OpenAI 接口，可选择对应的 OpenAI Chat 节点，将 Base URL 改为本机服务地址。

注意地址填写：本机运行时通常使用 127.0.0.1 加端口的形式。如果 Flowise 在 Docker 容器中，而模型服务在宿主机上，需要使用容器可访问的宿主机地址，不能简单填写 127.0.0.1。

配置时还要填写模型名称，名称必须与本地推理服务中注册或启动的模型一致。很多连接失败并不是模型不能用，而是模型名称、接口路径或端口填写错误。

完成配置后，可先用最简单的 Prompt 节点连接 Chat Model 节点进行测试。输入一句短问题，确认可以返回内容后，再接入知识库、工具调用或多节点流程。

五、知识库与向量模型的本地化配置

Embedding 与向量数据库

很多 Flowise 项目不只是聊天，还会加入文档检索。此时，除了对话模型，还需要 Embedding 模型和向量数据库。

若希望完整本地化，Embedding 也应选择本地模型。可使用 Ollama 支持的嵌入模型，或通过其他本地嵌入服务提供接口。

向量数据库可选择本地文件型方案，也可使用独立服务。测试阶段优先选择配置简单的方案。

文档处理要点

导入文档时，要控制分块大小。

• 分块太大，检索结果会冗长且占用上下文。
• 分块太小，语义容易被切碎。

中文资料可先尝试 500 到 800 字左右的分块，并设置适当重叠。

上传内部资料前，应清理无关页眉页脚、重复目录和乱码内容。否则会明显影响检索质量。

六、性能优化：从模型、参数和流程三处入手

第一：选对模型

硬件有限时，不要盲目追求大参数量。一个合适的 7B 量化模型，往往比勉强运行的大模型体验更稳定。

第二：调整参数

上下文越长，占用资源越多，响应越慢。

• 普通问答可设置较短上下文。
• 知识库问答则通过检索控制输入内容，而不是把整份文档塞给模型。

第三：精简流程

Flowise 的可视化流程很灵活，但节点越多，调用链越长，延迟越高。

上线前应删除测试节点，合并重复提示词，避免多次调用模型完成同一任务。

第四：控制并发

本地模型服务承载能力有限，多人同时访问时容易排队甚至崩溃。

可在前端限制请求频率，或为不同任务部署不同模型实例。

第五：检查硬件

如果使用显卡，可关注推理工具是否正确调用显卡资源。部分环境需要安装匹配的驱动和计算组件。

若返回速度很慢，可检查是否实际落到了 CPU 推理。

对于内存较小的设备，建议关闭其他高占用程序，并选择更低量化等级或更小模型。

七、常见问题与排查方法

• 问题一：Flowise 提示连接失败。优先检查本地模型服务是否启动，再检查 Base URL、端口和模型名称。Docker 场景下尤其要确认网络地址是否能从容器内部访问。
• 问题二：模型能回答，但速度很慢。可能是模型过大、上下文设置过长、未使用显卡、同时请求过多。可更换小模型、缩短输入、降低并发，或改用量化版本。
• 问题三：中文回答质量差。可更换中文能力更好的模型，并在系统提示词中明确要求使用中文回答。知识库场景还要检查文档分块和检索结果是否准确。
• 问题四：重启后流程丢失。通常是数据目录没有持久化。Docker 部署时必须挂载 Flowise 数据目录；npm 方式也应定期备份配置文件和数据库文件。

八、安全边界与实用建议

安全措施

本地模型并不等于绝对安全。

• Flowise 后台应设置强密码。
• 不要把管理页面直接暴露到公共网络。
• 团队使用时，应区分开发、测试和生产环境。
• 重要凭据不要写在提示词中，也不要在共享流程里保存敏感密钥。
• 导入企业资料前，建议先做脱敏处理，并建立访问权限规则。

版本管理

对于需要长期运行的项目，建议固定 Flowise、模型服务和模型版本，避免更新后流程表现突然变化。

每次升级前先备份数据，再在测试环境验证节点兼容性。

模型效果评估也要保留样例集，用同一批问题对比回答质量、速度和资源占用。

这样才能让 Flowise 本地模型方案从“能跑”逐步走向“稳定可用”。