远程调用Ollama Deepseek大模型如何配置

发布于 1周前 作者 itying888 来自 DeepSeek

远程调用Ollama Deepseek大模型如何配置

启动Ollama

windows 默认就启动了Ollama ，无需手动启动

Macos和linux需要运行 ollama serve手动启动ollama，然后才可以调用

ollama serve

配置远程调用

默认情况下，Ollama 服务仅在本地运行，不对外提供服务。要使 Ollama 服务能够对外提供服务，你需要设置以下两个环境变量：

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

在 MacOS 上配置

如果您是通过终端启动 Ollama 应用程序，您可以将环境变量添加到您的 shell 配置文件中。对于使用 bash 的用户，请编辑 ~/.bash_profile 文件；对于 zsh 用户，请编辑 ~/.zshrc 文件。例如，使用文本编辑器打开并编辑相应的文件：

echo 'export OLLAMA_HOST="0.0.0.0"' >> ~/.bash_profile # 如果使用bash
echo 'export OLLAMA_ORIGINS="*"' >> ~/.bash_profile # 如果使用bash

# 或者对于zsh用户
echo 'export OLLAMA_HOST="0.0.0.0"' >> ~/.zshrc
echo 'export OLLAMA_ORIGINS="*"' >> ~/.zshrc

然后，使更改生效：

bash深色版本

source ~/.bash_profile # 对于bash用户
# 或者
source ~/.zshrc # 对于zsh用户

看自己的环境变量保存在哪里

echo $SHELL

在 Windows 上配置

在 Windows 上，Ollama 会继承你的用户和系统环境变量。

  1. 通过任务栏退出 Ollama。

  2. 打开设置（Windows 11）或控制面板（Windows 10），并搜索“环境变量”。

  3. 点击编辑你账户的环境变量。

    为你的用户账户编辑或创建新的变量 OLLAMA_HOST，值为 0.0.0.0； 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS，值为 *****。

  4. 点击确定/应用以保存设置。

  5. 从 Windows 开始菜单启动 Ollama 应用程序。

在 Linux 上配置

如果 Ollama 作为 systemd 服务运行，应使用 systemctl 设置环境变量：

  1. 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

  2. 在 [Service] 部分下为每个环境变量添加一行 Environment：

    [Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

  3. 保存并退出。

  4. 重新加载 systemd 并重启 Ollama：

    systemctl daemon-reload
systemctl restart ollama

服务 IP 地址

配置后，Ollama 服务将能在当前网络（如家庭 Wifi）中提供服务。

Ollama 服务的 IP 地址是你电脑在当前网络中的地址，通常形式如下：

192.168.XX.XX

将 API Host 地址为：

http://192.168.XX.XX:11434

注意事项

  • 可能需要在防火墙中允许 Ollama 服务的端口（默认为 11434），具体取决于你的操作系统和网络环境。
  • 为避免安全风险，请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。

回到顶部