在 Windows 上配置 Ollama 服务并开放局域网访问

WebAigc7个月前知识200

在 Windows 上配置 Ollama 服务并开放局域网访问的完整指南

随着 AI 模型和服务的普及,许多开发者在本地机器上搭建服务以便进行实验或开发工作。Ollama 是一个流行的本地 AI 服务工具,但默认情况下它只能在本地访问。如果想要在局域网中共享 Ollama 服务,你需要配置防火墙以开放对应的端口。本文将详细介绍如何在 Windows 上配置 Ollama 并通过防火墙设置共享服务。


1. Ollama 简介

Ollama 是一个用于部署本地 AI 模型的工具,开发者可以在自己的机器上运行模型,并通过 API 接口调用。在本地搭建 Ollama 服务后,默认只允许本地访问,而局域网中的其他设备无法直接访问该服务。


为了在局域网内共享 Ollama 服务,我们需要完成以下两步:


设置 Ollama 的环境变量 OLLAMA_HOST,使其监听局域网的 IP 地址。

在 Windows 防火墙中开放 Ollama 服务使用的端口(如 11434)。


2. 配置 Ollama 服务的监听地址

Ollama 服务使用环境变量 OLLAMA_HOST 来指定监听的地址,默认情况下,它只监听 localhost,即只能本地访问。如果要让局域网内其他设备访问 Ollama 服务,需要将 OLLAMA_HOST 设为 0.0.0.0。


设置环境变量

在 Windows 中,可以通过以下步骤来设置环境变量 OLLAMA_HOST:


打开系统属性:


右键点击 此电脑 或 计算机,选择 属性。

在左侧点击 高级系统设置。

环境变量:


在弹出的窗口中,点击 环境变量。

新建系统环境变量:


在 系统变量 部分,点击 新建。

在 变量名 输入框中,输入 OLLAMA_HOST。

在 变量值 输入框中,输入 0.0.0.0,然后点击 确定。

重启命令行窗口:

设置完成后,确保关闭并重新打开命令行窗口,使新的环境变量生效。


完成后,Ollama 服务将在所有网络接口上监听,包括局域网。



3. 使用 Windows 防火墙开放端口

为了使其他设备能够访问 Ollama 服务,我们需要在 Windows 防火墙中开放 Ollama 服务运行的端口(例如 11434)。你可以选择通过图形界面操作,或者更快捷地通过命令行操作来完成设置。


方法一:使用 Windows 防火墙图形界面

打开 控制面板,搜索并选择 Windows Defender 防火墙。

在左侧点击 高级设置,进入高级防火墙设置页面。

在左侧菜单中,点击 入站规则,然后在右侧点击 新建规则。

选择 端口 作为规则类型,然后点击 下一步。

选择 TCP,并在 特定本地端口 一栏中输入 11434,然后点击 下一步。

选择 允许连接,点击 下一步。

根据需求选择应用的网络类型(域、专用或公用),点击 下一步。

为这条规则命名(如 “Allow Ollama Port 11434”),然后点击 完成。

方法二:使用命令行快速开放端口

如果你更习惯使用命令行,可以通过以下步骤快速开放端口。



打开 命令提示符(以管理员身份运行),使用以下命令为 Ollama 服务开放 11434 端口(TCP 协议):


netsh advfirewall firewall add rule name="Allow Port 11434" dir=in action=allow protocol=TCP localport=11434


如果 Ollama 使用的是 UDP 协议,可以将命令中的 TCP 改为 UDP:


netsh advfirewall firewall add rule name="Allow Port 11434" dir=in action=allow protocol=UDP localport=11434


你可以通过以下命令确认规则是否正确添加:


netsh advfirewall firewall show rule name="Allow Port 11434"


4. 测试 Ollama 服务是否在局域网中可访问

完成上述设置后,Ollama 服务应该可以通过局域网中的其他设备访问。你可以通过局域网中的另一台设备,在浏览器中输入以下地址进行测试:


http://<你的本机IP地址>:11434


例如,如果你的本机 IP 地址是 192.168.1.100,则在局域网中其他设备的浏览器中输入:


http://192.168.1.100:11434


如果服务成功启动,页面应显示 Ollama API 的相关信息,表明你的服务已经能够在局域网中正常访问。


5. 总结

通过以上步骤,你可以轻松地在 Windows 上配置 Ollama 服务并允许其他局域网设备访问该服务。具体操作包括:


配置环境变量 OLLAMA_HOST,使 Ollama 服务监听局域网中的请求。

在 Windows 防火墙中开放相应端口。

这一过程简单且高效,能够帮助你快速地将本地 AI 服务共享给局域网中的其他设备,实现更广泛的应用场景。

原文链接:https://blog.csdn.net/weixin_46759000/article/details/142175930


相关文章

Windows 中使用 Docker Desktop 部署 Open WebUI 做大模型可视化

Windows 中使用 Docker Desktop 部署 Open WebUI 做大模型可视化

Windows 中使用 Docker Desktop 部署 Open WebUI 做大模型可视化1. 下载 Docker Desktop访问 Docker 官网 Docker Desktop...

ollama大模型不安装在C盘,在其他盘的教程

ollama大模型不安装在C盘,在其他盘的教程

最近DeepSeek很热门,各位都是想在自己的电脑做个兴趣部署学习,但ollama默认只装在C盘,导致在拉取大模型的时候C盘爆满,今天来教大家用命令模式专在C盘以外的磁盘上马上开干:第一步:首先是下载...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。