Ollama 负责在本机拉起与运行大模型(推理服务),Open WebUI 负责提供一个更好用的 Web 对话界面(含模型切换、对话历史、简单的知识库等)。这套组合适合:不想把隐私内容发到云端、想离线使用、或者希望在同一局域网多设备访问。
工具地址/参考链接: https://ollama.com/ ,https://github.com/open-webui/open-webui
1) 建议至少 16GB 内存起步;如果你的电脑有独立显卡/Apple Silicon,体验会更好。2) 确保磁盘空间充足:模型文件通常是几个 GB 到十几 GB。3) 先想清楚使用场景:仅本机使用,还是要让同一 Wi-Fi 下的手机/平板也能访问。
Ollama 官方提供安装包,按提示下一步即可。安装后它会在本机启动一个服务端口(默认 11434),供命令行或其他 UI 调用。
安装完成后,用下面命令确认是否可用(若命令找不到,重启一次终端或电脑):
ollama -v
第一次运行某个模型会自动下载(拉取)模型文件。
ollama pull llama3.1
ollama run llama3.1
查看本机已有模型:
ollama list
停止正在运行的对话/进程(如果你在终端里启动了运行,可按 Ctrl+C;若由 UI 触发,通常在 UI 侧停止即可)。
提示:模型名称与可用版本以 Ollama 生态为准,你也可以在其社区/文档中找到更多模型与参数说明。
Open WebUI 最省心的方式是用 Docker 运行。确保你的电脑已安装 Docker Desktop,并能正常运行容器。
拉取镜像:
docker pull ghcr.io/open-webui/open-webui:main
启动容器(把 WebUI 映射到本机 3000 端口;并把数据持久化到一个命名卷):
docker run -d --name open-webui -p 3000:8080 -v open-webui:/app/backend/data --restart unless-stopped ghcr.io/open-webui/open-webui:main
打开浏览器访问:
http://localhost:3000
首次进入通常需要创建管理员账号(本机自用也建议设置一个强密码)。
一般情况下,Open WebUI 会尝试连接到本机的 Ollama 服务(默认地址类似 http://localhost:11434)。如果你的 WebUI 运行在容器里,且连接失败,可以从下面思路排查:
1) 先确认 Ollama 服务是否在运行:在浏览器打开 https://127.0.0.1:11434/ 可能会提示不安全/无页面,但至少能验证端口是否可达(也可用系统自带的网络工具查看端口)。
2) 容器网络问题:容器内访问宿主机的方式在不同系统上略有区别。Windows/macOS 的 Docker Desktop 通常可用 host.docker.internal 作为宿主机地址。在 WebUI 的设置里把 Ollama 地址改成:
http://host.docker.internal:11434
3) 端口占用:如果 3000 被占用,换一个端口重新映射,例如 -p 3333:8080。
如果你希望手机访问 WebUI:
1) 先找到电脑的局域网 IP(例如 192.168.x.x)。2) 确保系统防火墙允许 3000 端口入站访问。3) 在手机浏览器打开:
http://你的电脑IP:3000
注意:只建议在可信局域网内使用;不要把端口直接暴露到公网。确有远程需求,优先使用正规的 VPN/组网方案,并开启强密码与必要的访问控制。
WebUI 打不开:确认容器是否在跑:
docker ps
模型列表为空:确认 Ollama 已下载并存在模型:
ollama list
对话很慢:尝试换更小的模型、减少上下文长度、或确认是否在使用硬件加速(不同平台支持情况不同)。
隐私与合规:本教程仅介绍合规的本地部署与使用方式,不包含任何攻击、入侵、破解、绕过付费等敏感细节。请在合法合规范围内使用模型与相关工具。