- Ollama 允许您在本地运行开源 LLM,保证完全隐私并消除令牌成本。
- 该配置需要注意内存和显卡,建议使用 16GB 内存以获得流畅的性能。
- 可以使用扩展程序将本地模型连接到浏览器,并配置 CORS 以与 Web 内容实时交互。
- 该工具可与 VS Code 等 IDE 和 Docker 等虚拟化环境集成,以优化软件开发。
如何在浏览器中使用 Ollama 和本地模型?您可能已经注意到,如今人工智能几乎无处不在。ChatGPT 堪称王者,但当然,强大的力量也带来了一丝担忧: 数据会发生什么变化? 我们上传的是什么?谁在阅读我们的提示信息?我的老板知道我正在使用人工智能来提高工作效率吗?这些都是非常合乎逻辑的问题,也正因如此,许多人正在放弃云计算,转而构建自己的系统。 本地人工智能环境.
这个理念简单却强大:完全掌控一切。在本文中,我们将详细解释如何掌握 Ollama,这款工具可以让您在自己的计算机上运行语言模型,而无需…… 没有任何一个字节会离开你的机器。我们将涵盖从基本设置到将所有这些功能集成到您的浏览器中的所有内容,以便人工智能可以实时分析您访问的网站,而无需每月订阅或隐私方面的细则。
Ollama到底是什么?它为什么这么酷?

简而言之,Ollama 是一个开源平台,它充当…… 语言模型管理器 (LLMs)。你可以把它想象成一个人工智能应用商店。它允许你下载 Llama、Mistral 或 DeepSeek 等模型,并直接在你的硬件上运行它们,无论你使用的是 Windows、macOS 还是 Linux 系统。最棒的是,一旦你下载了模型, 你不需要互联网 和他聊聊。
这里最大的优势在于…… 数据主权您可以将机密合同、私人笔记或敏感代码传递给模型,而无需担心它们被用于训练下一版本的商业模型。此外,您也无需担心代币费用,避免月底钱包空空如也。基本上…… 民主和私有人工智能.
你需要做些什么来防止电脑爆炸
你不需要NASA的超级计算机,但普通的烤面包机也远远不够。关键部件是…… RAM内存如果你有 8GB 内存,可以运行一些小型模型,但响应速度可能会比较慢。理想情况下,你应该…… 至少16GB内存 为了获得流畅的使用体验。如果您是使用 Apple Silicon 芯片的 Mac 用户,统一内存将为您提供绰绰有余的性能。
至于存储空间,这取决于你想要哪种型号。小型量化型号可能占用大约 2GB 空间,但如果你想要更大的存储空间…… 质量模型您可能需要 40GB 到 1.3TB 这样的惊人容量。 GPU(显卡)如果你有兼容的 NVIDIA 或 AMD 显卡,该型号几乎会立即响应;而如果你只依赖 CPU,则需要耐心等待。
让我们开始吧:安装和初始步骤

安装 Ollama 非常简单。您可以访问官方网站或使用终端。在 Linux 和 Mac 系统上,只需一个简单的命令即可。 卷曲 它包办一切。安装完成后,Ollama 会在本地启动一个服务器。 端口 11434要检查一切是否运行正常,只需登录即可。 http://localhost:11434 通过浏览器;如果看到确认信息,即表示您已成功登录。
要下载你的第一个模型,请打开终端并输入 ollama pull llama3.2如果你想直接和他交谈,请使用 ollama run llama3.2从那里,你已经拥有了 强大的助手 正在您的硬件上运行。如果您想查看已安装的软件,请使用以下命令: ollama list并删除任何您不再使用的内容。 ollama rm.
关键概念:量化和云模型

你可能见过类似这样的词语 量化 它们听起来可能像胡言乱语。简单来说,这是一个降低模型权重精度(从 16 位降至 4 位或 8 位)的过程。这样一来,模型占用的空间更小,所需的处理能力也更低。 内存更少牺牲一点点精度,在大多数情况下,你甚至都不会注意到。这就是为什么你会看到这样的标签: q4_K_M这表明尺寸和质量之间达到了平衡。
如果你的电脑性能不足,但你又想要强大的性能,Ollama 推出了…… 云模型这些功能允许您使用相同的界面运行大型模型(例如 671 字节的 DeepSeek-v3.1)。您只需添加后缀即可。 -云 到模型名称并进行 ollama signin最棒的是,即使它们在云端,Ollamama 也承诺 请勿保留您的数据.
如何将 Ollama 与浏览器和现实世界集成
在终端中使用模型固然不错,但边浏览边使用它才是真正发挥其魔力的地方。想象一下,分析一篇晦涩难懂的科学文章…… 比较竞争对手的价格 无需无休止地复制粘贴。为了实现这一点,可以使用一些扩展程序,例如 SurfMind 将您本地的 Ollama 与网站的 DOM 连接起来。
要使此功能生效,您必须首先配置 CORS 要允许浏览器与 Ollama 通信,您需要使用该变量运行服务器。 OLLAMA_ORIGINS="*"然后,在扩展程序中,选择 Ollama 预配置,并指向 URL。 http://localhost:11434/api/chat 就这样!你现在就拥有一个了! 私人网络分析师 能够在几秒钟内概括文本或找出法律文件中的薄弱环节。
高级选项:Docker 和开发环境
如果您不想让操作系统变得杂乱无章,最好的选择是使用 Docker在容器中运行 Ollama 会带来严重的隔离。对于那些寻求更类似于 ChatGPT 的可视化界面的用户来说, Open WebUI 这是理想的搭配。它还可以通过 Docker 安装,并为您提供…… 直观的图形环境 您可以在这里管理您的模型和聊天记录,而无需触碰控制台。
此外,如果您是程序员,您可以将 Ollama 集成到您的工作流程中。从 2025 年 3 月开始, GitHub Copilot 它允许您通过 BYOK(自带密钥)功能使用自定义模型。只需在 VS Code 中打开模型管理,选择 Ollama,然后 你的代码编辑器 它会根据你的本地模型开始建议代码行,并将代码严格限制在你的机器上。
根据您的需求推荐型号
Ollama书店非常大,所以这里有一份快速指南来帮助您逛书店。 一般任务或聊天选择更稳妥的方案,比如 Llama 3.2 或 Mistral。如果你喜欢编程, DeepSeek-Coder CodeLlama 是最佳选择。要分析或总结文档,请查找带有该标签的模板。 指示因为他们接受过专门训练,能够严格执行指令。
如果你需要人工智能“看”,那就必须选择模型。 多模态 例如 Llave 或 Moondream。这些工具允许你发送图片并询问相关问题。务必记得检查命令。 ollama ps 检查模型是否正在运行 GPU如果显示 CPU 问题,速度会急剧下降,这时就需要优化驱动程序或关闭 Chrome 标签页了。
拥有本地人工智能系统意味着从封闭工具的简单用户转变为拥有自己的知识引擎。从 Ollama 的轻松安装和管理量化模型以节省内存,到与浏览器扩展程序和 Docker 或 VS Code 等环境的集成,该生态系统允许…… 优先考虑隐私 在不牺牲性能的前提下,设置此工作流程可让您免除月费,并确保您的敏感信息永远不会离开您自己的硬件。
从小就对科技充满热情。我喜欢了解该领域的最新动态,最重要的是,进行交流。这也是我多年来致力于科技和视频游戏网站交流的原因。您可以找到我撰写的有关 Android、Windows、MacOS、iOS、任天堂或您想到的任何其他相关主题的文章。
