一、故事起因

我们公司所处的行业较为特殊，涉及大量敏感数据，需要借助大模型来处理和分析这些数据。

但出于安全等方面的考虑，我们无法使用公有云上的各类模型。于是，我们在公司内部部署了 Ollama，通过运行本地模型来解决这个问题。

接着问题就来了：手机端也需要访问 Ollama API，但一直没有顺手的 App 可用。那就花一个晚上，自己写一个吧。

Swift + SwiftUI，问题不大。

二、功能设计

目前主要需要下面几个功能：

2.1 Ollama 服务配置

需要支持 Ollama 服务的基础配置，包括以下内容：

• 服务地址
• 使用的模型
• 系统 prompt
• 模型参数(这个目前还没做)

2.2 Ollama API 流式调用

为了提升交互体验，这里采用了 Ollama API 的流式调用方式。

这种方式每次调用只返回一部分结果，客户端持续读取，直到获取全部内容。

2.3 重开会话和会话列表

支持重开会话，也支持从会话列表中选择历史记录，继续接着对话。

三、实现思路

3.1 数据模型建模

为了方便调用，先进行数据建模。

3.1.1 Ollama聊天请求对象

struct OllamaChatRequest: Codable {
    /*
     模型名称
     */
    var model = ""
    
    /*
     消息列表
     */
    var messages: [OllamaMessage] = []
    
    /*
     流式输出
     */
    var stream = true
}

3.1.2 Ollama聊天响应对象

struct OllamaChatResponse: Codable {
    /*
     消息对象
     */
    var message: OllamaMessage
}

3.1.3 Ollama消息流

struct OllamaChatStream: Codable {
    /*
     是否已完成
     */
    var done: Bool
    
    /*
     响应的消息对象
     */
    var message: OllamaMessage
}

3.1.4 Ollama消息对象

struct OllamaMessage: Codable, Identifiable {
    /*
     系统
     */
    public static let ROLE_SYSTEM = "system"
    
    /*
     AI
     */
    public static let ROLE_ASSISTANT = "assistant"
    
    /*
     用户
     */
    public static let ROLE_USER = "user"
    
    /*
     消息ID
     */
    let id = UUID()
    
    /*
     消息角色
     */
    var role:String
    
    /*
     消息内容
     */
    var content:String
}

3.1.5 Ollama 列出模型响应对象

struct OllamaModelResponse: Codable {
    /*
     模型列表
     */
    var models:[OllamaModel]
}

3.1.6 Ollama 模型对象

struct OllamaModel:Identifiable,Codable{
    /*
     ID
     */
    let id  = UUID()
    
    /*
     模型名称
     */
    var name:String
}

3.1.7 Ollama 服务配置对象

struct OllamaConfig :Codable{
    public static let CONFIG_PATH = "config.json"
    
    /*
     Ollama服务地址
     */
    var url :String
    
    /*
     提示词
     */
    var prompt:String
    
    /*
     使用的模型
     */
    var model:String
    
    /*
     模型列表
     */
    var models: [OllamaModel]
}

3.2 功能展示

目前已完成的功能部分如下：

3.2.1 聊天页面

3.2.2 设置页面

3.2.3 重开会话

四、代码实现

代码篇幅较长，干脆直接开源了。

另外，还在 Ollama 官方新闻页面偷了个图片抠出来，当了 Icon。

Github: github.com/HammCn/Olla…

五、自建 Ollama 服务

我们在 Cloudflare Worker 上自建了一个 Ollama 服务，每天 10w 次的免费请求量，白嫖的快乐。

当然，我们不会用这种公有云上的模型来处理敏感数据。

下一篇来讲讲如何白嫖一个吧。

六、最后

That's all.

因为要备案，懒得上架 AppStore 了，确实有点麻烦。

如果只是自己用，拉下来本地构建到 iPhone 上即可。

Bye.