想要“本地跑模型 + 有一个像 ChatGPT 那样好用的界面”,最省心的组合之一就是:Ollama 负责下载/管理/运行模型,Open WebUI 负责提供网页聊天界面、对话历史与多端访问。
官方入口(建议收藏):Ollama:https://ollama.com/;Open WebUI:https://github.com/open-webui/open-webui
1) 硬盘:模型文件通常从几 GB 到十几 GB 不等,建议预留 20GB 以上空间。
2) 内存:8GB 也能尝鲜,但更推荐 16GB+;内存越大,可选模型越多、响应越稳定。
3) 网络:首次下载模型需要较稳定的网络;后续主要是本地推理。
macOS(Homebrew):安装 brew install ollama,启动服务 brew services start ollama。也可以从下载页安装:https://ollama.com/download
Windows:到下载页安装 Ollama(图形化安装更省事):https://ollama.com/download。安装后一般会自动启动本地服务(默认端口 11434)。
Linux:官方提供一键安装脚本(执行前建议先阅读脚本内容):curl -fsSL https://ollama.com/install.sh | sh。安装完成后可用 ollama --version 验证。
1) 搜索/了解模型:可以先从社区推荐或模型页挑选(示例用法以常见开源模型为例)。
2) 下载模型:ollama pull llama3.2
3) 直接运行并聊天:ollama run llama3.2
4) 查看本机已下载模型:ollama list
5) 删除不再需要的模型:ollama rm llama3.2
提示:第一次运行时如果感觉慢,先换更小的模型尝鲜,再逐步升级。
如果你已经装了 Docker(或 Colima / Docker Desktop),用一条命令就能启动 WebUI:
docker run -d --name open-webui -p 3000:8080 -v open-webui:/app/backend/data --restart unless-stopped ghcr.io/open-webui/open-webui:main
启动后浏览器访问:http://localhost:3000(首次会引导创建管理员账号)。
Ollama 默认在本机提供接口(通常是 http://localhost:11434)。Open WebUI 需要知道这个地址。
如果 Open WebUI 运行在 Docker 容器中,常见做法是通过环境变量指定 Ollama 地址。macOS/Windows 一般可以用:
-e OLLAMA_ _URL=http://host.docker.internal:11434
示例(重新创建容器,带上变量):
docker rm -f open-webui 然后 docker run -d --name open-webui -p 3000:8080 -e OLLAMA_ _URL=http://host.docker.internal:11434 -v open-webui:/app/backend/data --restart unless-stopped ghcr.io/open-webui/open-webui:main
Linux 上 host.docker.internal 可能不可用,你可以改成宿主机局域网 IP(例如 http://192.168.1.10:11434),或按你的 Docker/网络方案配置。
1) 建议仅在局域网使用,不要把 WebUI 或 Ollama 端口直接暴露到公网。
2) Open WebUI 首次启动会要求创建账号;请确保开启登录机制,不要使用弱密码。
3) 如果需要多人或多设备访问,优先通过内网反向代理(如 Nginx)并加上访问控制,而不是简单端口转发到公网。
4) 只开放必要端口:WebUI 默认 3000,Ollama 默认 11434(多数情况下仅本机或内网需要)。
- WebUI 打不开:确认容器在跑(docker ps),端口没被占用,访问 http://localhost:3000。
- WebUI 找不到模型:确认 Ollama 服务可访问(本机直接试 ollama list),并检查 OLLAMA_ _URL 是否指向正确地址。
- 下载慢/失败:换网络或稍后重试;也可以先拉小模型验证流程再拉大模型。
- 性能不佳:优先换小模型、减少上下文长度、关闭不必要的并发。
到这里,你已经具备“本地跑模型 + WebUI 多端访问”的基本工作流。后续可以再探索:多模型切换、知识库/RAG、提示词模板等高级玩法。