远程调用Deepseek大模型保姆级学习指南,一看就会
远程调用Deepseek大模型学习详解,按照下面的步骤一步步来~
启动Ollama
windows 默认就启动了Ollama ,无需手动启动 Macos和linux需要运行 ollama serve手动启动ollama,然后才可以调用
ollama serve
配置远程调用
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需 要设置以下两个环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
在 MacOS 上配置
如果您是通过终端启动 Ollama 应用程序,您可以将环境变量添加到您的 shell 配置文件中。对于使用 bash 的用户,请编辑 ~/.bash_profile 文件;对于 zsh 用户,请编辑 ~/.zshrc 文件。例如,使用 文本编辑器打开并编辑相应的文件:
echo 'export OLLAMA_HOST="0.0.0.0"' >> ~/.bash_profile # 如果使用bash
echo 'export OLLAMA_ORIGINS="*"' >> ~/.bash_profile # 如果使用bash
# 或者对于zsh用户
echo 'export OLLAMA_HOST="0.0.0.0"' >> ~/.zshrc
echo 'export OLLAMA_ORIGINS="*"' >> ~/.zshrc
然后,使更改生效: bash深色版本
source ~/.bash_profile # 对于bash用户
# 或者
source ~/.zshrc # 对于zsh用户
看自己的环境变量保存在哪里
echo $SHELL
在 Windows 上配置
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
- 通过任务栏退出 Ollama。
- 打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。
- 点击编辑你账户的环境变量。 为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建 新的变量 OLLAMA_ORIGINS,值为 *。
- 点击确定/应用以保存设置。
- 从 Windows 开始菜单启动 Ollama 应用程序。
###在 Linux 上配置 如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:
- 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
- 在 [Service] 部分下为每个环境变量添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
- 保存并退出。
- 重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
服务 IP 地址
配置后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务。 Ollama 服务的 IP 地址是你电脑在当前网络中的地址,通常形式如下:
192.168.XX.XX
将 API Host 地址为:
http://192.168.XX.XX:11434
注意事项
可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络 环境。 为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环 境。