使用Ollama在Golang中运行大型语言模型

Ollama是一个强大的工具，允许开发者在本地运行和管理大型语言模型(LLMs)。下面我将介绍如何在Golang中使用Ollama。

安装Ollama

首先，你需要在本地安装Ollama：

1. 前往Ollama官网下载并安装
2. 安装完成后，可以通过命令行测试是否安装成功：

   ollama --version
   

基本使用方法

Ollama提供了REST API和命令行两种交互方式。在Golang中，我们主要通过HTTP客户端与Ollama的API交互。

1. 启动Ollama服务

安装后，Ollama会默认启动一个本地服务，监听11434端口。

2. 拉取模型

你可以通过命令行拉取需要的模型：

ollama pull llama2

Golang集成示例

下面是一个完整的Golang示例，展示如何与Ollama交互：

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io"
	"net/http"
	"os"
)

type OllamaRequest struct {
	Model  string `json:"model"`
	Prompt string `json:"prompt"`
	Stream bool   `json:"stream"`
}

type OllamaResponse struct {
	Model     string `json:"model"`
	CreatedAt string `json:"created_at"`
	Response  string `json:"response"`
	Done      bool   `json:"done"`
}

func main() {
	// 1. 检查Ollama服务是否运行
	resp, err := http.Get("http://localhost:11434")
	if err != nil {
		fmt.Println("Ollama服务未运行，请先启动Ollama")
		os.Exit(1)
	}
	defer resp.Body.Close()

	// 2. 准备请求数据
	requestData := OllamaRequest{
		Model:  "llama2",
		Prompt: "为什么天空是蓝色的？",
		Stream: false,
	}

	jsonData, err := json.Marshal(requestData)
	if err != nil {
		fmt.Println("JSON编码错误:", err)
		return
	}

	// 3. 发送请求到Ollama API
	resp, err = http.Post(
		"http://localhost:11434/api/generate",
		"application/json",
		bytes.NewBuffer(jsonData),
	)
	if err != nil {
		fmt.Println("请求Ollama API失败:", err)
		return
	}
	defer resp.Body.Close()

	// 4. 读取并解析响应
	body, err := io.ReadAll(resp.Body)
	if err != nil {
		fmt.Println("读取响应失败:", err)
		return
	}

	var ollamaResp OllamaResponse
	err = json.Unmarshal(body, &ollamaResp)
	if err != nil {
		fmt.Println("解析响应失败:", err)
		return
	}

	// 5. 输出结果
	fmt.Println("模型:", ollamaResp.Model)
	fmt.Println("回答:", ollamaResp.Response)
}

流式响应处理

Ollama支持流式响应，这对于处理长文本或实时交互非常有用。下面是流式处理的示例：

func streamResponse() {
	requestData := OllamaRequest{
		Model:  "llama2",
		Prompt: "解释量子计算的基本概念",
		Stream: true,
	}

	jsonData, err := json.Marshal(requestData)
	if err != nil {
		fmt.Println("JSON编码错误:", err)
		return
	}

	resp, err := http.Post(
		"http://localhost:11434/api/generate",
		"application/json",
		bytes.NewBuffer(jsonData),
	)
	if err != nil {
		fmt.Println("请求失败:", err)
		return
	}
	defer resp.Body.Close()

	decoder := json.NewDecoder(resp.Body)
	for {
		var chunk OllamaResponse
		if err := decoder.Decode(&chunk); err != nil {
			if err == io.EOF {
				break
			}
			fmt.Println("解码错误:", err)
			return
		}

		fmt.Print(chunk.Response)
		if chunk.Done {
			break
		}
	}
	fmt.Println()
}

高级功能

1. 自定义模型参数

type AdvancedRequest struct {
	Model    string  `json:"model"`
	Prompt   string  `json:"prompt"`
	Stream   bool    `json:"stream"`
	Options  Options `json:"options"`
}

type Options struct {
	Temperature float64 `json:"temperature"`
	TopP        float64 `json:"top_p"`
}

func customOptions() {
	requestData := AdvancedRequest{
		Model:  "llama2",
		Prompt: "写一首关于秋天的诗",
		Stream: false,
		Options: Options{
			Temperature: 0.7,
			TopP:        0.9,
		},
	}

	// 其余代码与前面示例类似...
}

2. 模型管理

func listModels() {
	resp, err := http.Get("http://localhost:11434/api/tags")
	if err != nil {
		fmt.Println("获取模型列表失败:", err)
		return
	}
	defer resp.Body.Close()

	body, err := io.ReadAll(resp.Body)
	if err != nil {
		fmt.Println("读取响应失败:", err)
		return
	}

	fmt.Println("可用模型列表:")
	fmt.Println(string(body))
}

最佳实践

1. 错误处理：始终检查HTTP请求和响应的错误
2. 超时设置：为HTTP客户端设置合理的超时
3. 资源清理：确保关闭响应体
4. 并发控制：如果需要并发请求，考虑使用连接池

总结

通过Ollama，Golang开发者可以轻松地在本地运行大型语言模型。本文展示了基本的交互方法、流式处理以及高级配置选项。你可以根据项目需求扩展这些基础代码，构建更复杂的AI应用。

记得在使用前确保Ollama服务已启动，并且已下载所需的模型。对于生产环境，你可能需要考虑添加认证、日志记录和性能监控等额外功能。