如果你想在本机离线/局域网内体验大模型对话,又不想被复杂环境劝退,可以用 Ollama 负责模型下载与运行,用 Open WebUI 提供更顺手的网页聊天界面(带历史记录、模型切换、参数配置等)。本文按“先跑通,再优化”的思路,给出 Windows/macOS 通用的搭建步骤。
Ollama 官网:https://ollama.com/
Open WebUI 项目:https://github.com/open-webui/open-webui
1) 本文只讲合规的本地部署与使用,不涉及任何攻击、入侵、破解或绕过付费的细节。
2) 建议使用较新的系统与浏览器;模型推理对 CPU/内存/磁盘有要求,空间不足时先从小模型开始。
3) 如果你打算在局域网给手机/平板访问 WebUI,请先确认同网段访问策略,并为 WebUI 设置登录或访问控制。
打开上面的官网链接下载安装包并按提示安装。安装完成后,命令行里执行:
ollama --version
能输出版本号说明安装成功。
先选一个轻量模型,快速验证链路(下载时间取决于网络与模型大小):
ollama pull llama3.2
然后运行一次对话测试:
ollama run llama3.2
输入一句话确认能正常返回结果后退出(通常按 Ctrl+C)。到这一步,你已经把“模型下载 + 本地推理”跑通了。
Open WebUI 的好处是:用浏览器就能聊天、切模型、看历史,还能更方便地给家里其他设备访问。最省事的安装方式通常是 Docker。
确保你已安装并启动 Docker Desktop(macOS/Windows 都可)。然后执行:
docker pull ghcr.io/open-webui/open-webui:main
接着启动容器(示例端口为 3000,可按需修改):
docker run -d --name open-webui -p 3000:8080 -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:main
启动后在浏览器打开:
http://localhost:3000
首次进入一般会提示创建账号/初始化配置,按页面提示完成即可。
多数情况下,Open WebUI 会尝试连接本机的 Ollama 服务。如果你发现模型列表为空或无法对话,优先检查两点:
1) Ollama 是否在运行(可先执行 ollama list 看是否能列出模型)。
2) Open WebUI 的“Model Provider / Ollama API URL”配置是否指向正确地址。
常见的 Ollama 本地地址是:
http://localhost:11434
配置保存后,回到对话页刷新,应该能看到你刚才拉取的模型(如 llama3.2)。
1) 局域网访问:将 WebUI 端口映射到局域网可访问的地址(取决于你的网络与防火墙策略)。务必设置登录/访问控制,避免对公网暴露。
2) 模型管理:用 ollama list 查看已安装模型;空间不足时可清理不用的模型(在客户端界面或按官方说明处理)。
3) 资源占用:大模型更吃显存/内存;如果电脑配置一般,优先选体积更小的模型,或降低并发与上下文长度。
Q1:WebUI 打不开? 先确认容器是否在运行:docker ps;再确认端口未被占用(如 3000)。
Q2:能打开但无法对话? 先用命令行确认 Ollama 可用:ollama run llama3.2;再检查 WebUI 里 Ollama 的 API 地址是否为 http://localhost:11434。
Q3:下载模型很慢? 先从小模型验证流程;网络条件允许时再换更大模型,避免一上来就卡在下载阶段。
到这里,你已经完成了“本地运行 + 网页对话界面”的完整搭建。建议先用 1-2 个固定场景(写作润色、代码解释、学习笔记总结等)跑几天,再按需求微调模型与参数。