如何将 Open WebUI 与 Ollama 连接起来，以便在没有互联网的情况下使用本地模型。

¿如何将 Open WebUI 与 Ollama 连接起来，以便在没有互联网的情况下使用本地模型？ 你可能已经注意到，像 Claude 或 Gemini 这样的工具非常强大，但它们存在一个小问题：你编写的所有内容都会发送到远程服务器。对于那些使用 客户机密数据 对于商业战略而言，云计算可能有点令人望而生畏。幸运的是，如今你无需成为计算机天才就能在家构建自己的人工智能，而且无需将任何数据离开你的计算机。

Ollama 和 Open WebUI 的组合，简而言之，是那些寻求理想解决方案的用户的完美组合。 完全隐私且零成本 每个令牌。一个负责运行模型的繁琐工作，另一个则提供了一个美观易用的界面，与 ChatGPT 非常相似，使用户能够管理聊天、上传文档，甚至在配置完成后无需输入任何命令行即可与 AI 对话。

我们究竟在讨论什么？理解 Ollama 和 Open WebUI

为了避免名称混淆，我们先明确一点： Ollama是引擎它是一款用于下载模型文件（例如流行的 GGUF 文件）并使用您的处理器或显卡运行这些文件的工具。它提供技术基础，并在 11434 端口上公开 API，以便其他应用程序可以与模型通信。

另一方面， Open WebUI 是可视化层。这是一个开源前端，通常通过 Docker 安装，它可以将枯燥的黑色终端转换成一个直观的面板。有了它，你就可以…… 对话历史如果您想为您的工作团队设置服务器，可以整理您最喜欢的提示并管理多个用户。

还有其他一些替代方案，例如 LM Studio 或 Jan，它们非常适合快速的个人使用。但是，当我们需要……时，Open WebUI 才是最佳选择。 高级功能 例如原生 RAG、用户管理或通过 Python 添加插件的功能，使其成为专业环境中最强大的选择。

硬件要求和推荐型号

你不需要在硬件上花费巨资，虽然拥有性能良好的GPU有助于防止AI反应过慢。对于拥有7亿或8亿参数的轻量级模型， 16 GB 内存 通常来说，这足以带来不错的体验。如果你有一台Mac电脑， 苹果芯片（M1、M2、M3 或 M4）你很幸运，因为统一内存让这些模型能够飞速发展。

如果你是认真的，想要极致的速度，那就用一张卡。 NVIDIA显卡，至少配备8GB显存 （例如 RTX 3060 或 4060）是稳妥之选。对于追求最高画质的用户，像 70B Llama 3.3 这样的型号已经非常接近 GPT-4 的性能，但它们需要配备高性能显卡的机器。 64 GB 内存或强大的 GPU 避免因延迟而感到沮丧。

至于模型方面，Llama 3.2 在速度和智能之间取得了很好的平衡。如果您正在寻找一款专门用于编码的模型， DeepSeek 是个瑰宝同时，Mistral 和 Qwen 2.5 在多种语言（包括西班牙的西班牙语）中表现出色，使其成为日常使用的非常高效的选择。

安装步骤详解

最快的方法是通过 Docker。首先，从 Ollama 官网下载并安装。安装完成后，打开终端并运行类似这样的命令： ollama pull llama3.2 为了 请确保您有模型。 即可使用。别忘了运行 ollama serve 以便 API 处于活动状态并正在监听。

要设置接口，请运行以下 Docker 命令： docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main这条命令至关重要，因为标志 主机.docker.内部 这样，Web容器就能找到在你的操作系统上运行的Ollama引擎。

现在你只需要打开浏览器，然后访问 http://localhost:3000第一个注册的用户将自动成为系统管理员。之后，您可以进入连接设置，验证 Ollama 是否已连接。如果一切顺利，您将看到…… 模型部署 它神奇地出现在顶部选择器中。

掌握 RAG：与你自己的文档对话

其中一项最强大的功能是 RAG（恢复增强生成）。本质上，它允许人工智能…… 分析您的 PDF、Word 或 Markdown 文件 无需上传到任何云服务。要启用此功能，请前往您的个人资料，进入工作区，然后上传文档以创建知识库。

一个重要的技术细节是，你需要一个嵌入模型，例如： nomic-embed-text你可以下载它 ollama pull nomic-embed-text在管理面板中配置完成后，您可以在任何聊天中轻松访问您的文档。 输入 # 键 并选择相应的文件或集合。

如果您发现人工智能出现混乱或中断响应，请尝试…… 调整片段大小 （块）。如果您使用的是上下文窗口较小的模型，将块大小从 1500 个标记降低到 800 个标记通常可以解决问题，从而为 AI 根据文档处理问题和答案留出足够的空间。

高级功能：语音、管道和 MCP

Open WebUI 不仅仅是一个聊天工具；它是一个可扩展的平台。您可以添加 使用 Whisper 进行语音识别 要与人工智能对话，请使用文本转语音（TTS）功能，让它做出回应。最实用的方法是使用本地的 Whisper 进行输入，并使用 OpenAI API 生成清晰自然的音频输出。

如果你是一名开发者， 管道和函数 它们将助您创造奇迹。您可以使用 Python 创建过滤器，在敏感数据进入模型之前对其进行清理，或者添加运行特定脚本的操作按钮。此外，还支持…… 模型上下文协议（MCP） 它允许本地 AI 连接到 GitHub 或 Slack 等外部工具。

对于那些想要将此引入团队环境的人来说，理想的选择是 Docker Compose这样就可以在单个 YAML 文件中将 Ollama 和 Open WebUI 作为单独的服务进行管理，从而方便数据卷的备份，并允许 Docker 的内部网络解析服务名称而不会出现 IP 问题。

建立这套系统是重新掌控我们信息的最佳途径。通过将 Ollama 的强大功能与 Open WebUI 的多功能性相结合，我们打造了一款无需订阅或外部连接的专业工具，使我们能够进行各种实验。 人工智能前沿 在完全私密的我们自己的硬件环境中。