如何将您的 PC 用作本地 AI 中心：实用且比较的指南

¿如何将您的 PC 用作本地 AI 中心？ 人工智能不再是大公司或云专家的专属领域。越来越多的用户希望直接从个人电脑上利用人工智能解决方案来完成从文本生成到自动化创意或技术流程等各种任务，所有这些都具有最大程度的隐私性，并且不依赖外部服务器。 将您的 PC 变成本地 AI 中心 它是可以承受的现实，几乎任何爱好者、专业人士或学生都可以承受，即使您的设备不是最先进的。

在本文中，您将了解如何将自己的计算机转变为 AI 生态系统的核心。 我们将研究最受推荐的软件替代方案、有关硬件、模型和功能的关键考虑因素，以及在隐私和个性化方面使用本地 AI 的优势。此外，我将指导您选择、安装和充分利用 LLM 模型、应用程序和资源，比较最佳程序并提供技巧，让您的 AI 体验顺畅而安全，无论是在 Windows、Mac 还是 Linux 上。

为什么要使用您的 PC 作为本地 AI 中心？

使用您的计算机作为中央 AI 平台具有云服务难以比拟的优势。 其中一个最重要的原因是隐私：当你与云端的聊天机器人交互时，你的数据和请求最终会存储在第三方服务器上，尽管公司实施了安全措施， 始终存在泄漏或误用的风险。在本地处理信息意味着您可以完全控制您的数据。没有其他人可以访问您的问题、答案或文件。

另一个巨大的优势是无需互联网连接。 使用本地系统，即使您的连接不稳定、居住在信号覆盖较差的地区，或者只是出于安全原因想要离线工作，您也可以享受 AI 功能。 此外，定制化程度也更高： 您可以选择最适合您的模型，根据您的需要进行定制，并微调每个参数 - 这是固定云服务很少能实现的。

经济方面也同样重要。 虽然云服务提供免费版本，但高级使用涉及订阅、代币支付或资源消耗。 在本地工作时，唯一的限制就是硬件的容量。

您需要做什么才能开始？硬件和基本要求

认为使用人工智能需要尖端计算机或超强大的 GPU 的普遍观念现在已成为过去。 当前的语言模型已经针对家用电脑进行了优化，其中许多模型，尤其是量化模型， 即使没有独立显卡也能运行，仅使用CPU。

为了获得流畅的运行和愉快的体验，建议至少使用 8-16 GB 的 RAM。 以及相当现代的处理器（第六代及以后的 Core i5 或 i7，或 Ryzen 同等产品）。如果您正在使用更大的模型或想要更快的性能，那么具有 4GB VRAM 的 GPU 会有所不同，特别是对于图像生成或非常长的文本响应等任务。

在 Mac 上，Apple M1 及更高版本的芯片也支持本地 LLM 模型，并且响应时间非常好。 简而言之，如果您的 PC 或笔记本电脑使用时间不到七年，您可能就可以开始尝试本地 AI。

您需要哪些应用程序和平台才能将您的 PC 变成本地 AI 中心？

本地 AI 系统的核心是弥合硬件和 AI 模型之间差距的专用应用程序。 其中最值得一提的是其易用性、强大功能和灵活性：

• GPT4全部： 最受欢迎和最友好的选择之一。它允许您下载和安装多种语言模型，与它们交互，并配置不同的参数。它是跨平台的（Windows、Mac 和 Linux），其安装过程与任何其他桌面程序一样简单。
• Jan AI： 它以其现代化的界面、组织对话线程的能力以及与本地和远程模型（例如通过 API 来自 OpenAI）的兼容性而脱颖而出。此外，它还提供自己的模拟 OpenAI 的本地 API，允许 Jan 作为 AI 后端集成到需要 ChatGPT API 密钥的其他应用程序中，但无需依赖互联网。
• Llama.cpp 和 LM Studio： 这些工具允许您在本地运行 LLM 模型，并提供对来自 Hugging Face 和其他存储库的综合模型库的访问。

基本程序通常如下： 从其官方网站下载所选应用程序，将其安装到您的系统上，然后浏览可用模板库（通常称为“The Hub”或类似名称）。您可以在那里选择所需的模型，检查其大小和内存要求，并从界面本身下载所有内容。

本地安装的顶级 AI 模型

开源 LLM 模型的世界广阔且不断发展。 除了 OpenAI 提供的（需要云连接）之外，还有许多可在本地工作的替代方案：Mistral 7B、TinyLlama Chat、Nous Hermes 2、Mixol 8X 7B 等。这些模型中的许多都是量化的，这意味着它们占用更少的空间并且需要更少的 RAM，但代价是牺牲少量的准确性。

对于初学者 建议使用中小型型号，例如 Mistro Instruct 7B 或 TinyLlama Chat，因为它们放电迅速并且不会使系统过载。 如果您的计算机具有更多 RAM 和存储空间，尝试更完整的模型，如 Mixol 8X 7B，要知道，例如，仅该模型就可能需要高达 26 GB 的磁盘空间。

在几乎所有应用程序中，您都可以根据模型的大小、主要语言、许可证或所训练的任务类型来过滤模型。 （文本编写、代码生成、翻译等）。模型的目的越具体，获得的结果就越准确。

安装和使用本地 AI 的分步过程

1.下载并安装应用程序： 前往您首选工具（例如 GPT4All 或 Jan AI）的官方网站，下载适用于您的操作系统的安装程序，然后按照屏幕上的步骤操作。在Windows中，通常是一个经典的向导；在 Mac 上，可能需要为配备 M1/M2 处理器的计算机启用 Rosetta；在 Linux 上，您将获得 DEB 或 AppImage 包。

2.探索并下载AI模型： 打开应用程序后，访问模型浏览器（在 GPT4All 中它是“发现模型空间”，在 Jan AI 中它是“中心”）。过滤、查看功能，当您找到最吸引您的模型时，单击“下载”。在继续之前，您将被告知尺寸和要求。

3. 选择和首次执行： 下载模板后，在应用程序中选择它并开始新的对话或任务。写下您的查询或请求并等待回复。如果您发现响应缓慢，请尝试使用更轻的型号或调整设置。

4.调整参数并实验： 在大多数程序中，您可以修改令牌的最大数量（限制响应的长度），以及其他细节，如温度、top_p 等。尝试不同的设置，直到找到适合您的速度和结果质量之间的平衡。

5. 组织和自定义线程： 许多程序允许您创建具有不同名称和目的（视频创意、创意写作、编码帮助等）的对话线程，您还可以为每个线程保存自定义指令，从而简化交互。

资源管理和性能优化

本地AI的主要限制是硬件： 当模型对于您的 RAM 来说太大时，可能会出现速度变慢、崩溃甚至执行错误。当您选择的型号对于您的设备来说太重时，最好的应用程序会提前发出警告。

Jan AI 凭借集成屏幕资源监视器脱颖而出 它实时显示 RAM、CPU 和处理速度（每秒令牌数）的消耗情况。这样，您就可以随时了解您的团队是否已达到极限，或者是否仍可以从中获得更多。

如果你的电脑有 Nvidia 显卡，并且你想利用它， 一些应用程序通过安装 CUDA 来实现 GPU 加速。这可以提高繁重任务的完成速度。请始终参考官方文档以正确安装和启用 GPU 支持。

量化的优势：模型更轻量、更高效

谈论本地人工智能时的一个常用术语是“量化”。 这涉及通过将模型权重转换为位数更少的数字来降低存储模型权重的精度，从而大大减少模型的磁盘和内存大小，同时对响应质量的影响最小。

大多数可下载模型已经量化为各种版本（4 位、8 位等）。 如果您想要的模型仅存在于“完整”版本并且您的团队无法移动它，那么有一些应用程序可以让您自己量化它（例如，GPTQ）。

这项技术 可以在较旧或资源有限的 PC 上运行强大的模型，同时保持隐私和独立于云。

最佳本地 AI 工具比较：GPT4All 与 Jan AI

这两个应用程序都提供了将您的 PC 转变为强大的 AI 中心所需的一切，但每个应用程序都有自己独特的功能，可以帮助您根据自己的喜好选择其中一个。

• 易于使用： GPT4全部 它非常简单，安装快捷，并且可以通过清晰且用户友好的界面下载模型。另一方面，Jan AI 提供了更高级的对话组织以及进一步定制指令和工作流程的能力。
• 兼容性： 两者都支持 Windows、Mac 和 Linux。 Jan AI 通过其本地 API 增加了与其他应用程序的直接集成。
• 资源监控： Jan AI 提供了资源消耗的实时仪表板，对于有限制的团队很有用。 GPT4All 会报告最低要求，并在您的硬件可能达不到要求时发出警告。
• 扩充功能： Jan 允许您安装扩展功能（例如，前面提到的资源监视器）的扩展程序，而 GPT4All 中不存在该功能。

我的建议是尝试两者，看看哪一个最适合您的工作流程和您的团队。

解决问题和怀孕问题

下载和安装 AI 模型时遇到一些挑战是很常见的，尤其是在处理大文件或团队资源有限时。 最常见的错误之一是获取失败。在这些情况下，最好检查连接、清理磁盘空间或重新启动应用程序。每个程序的支持社区以及其官方维基或论坛通常都会提供分步解决方案。

在安全性方面，使用本地 AI 比与远程服务交互更加透明。 您的数据和对话历史记录保留在您的设备上，不会用于训练外部算法。但是，作为预防措施，建议不要在任何 AI 应用程序中共享敏感信息，即使是在本地。

如果您需要更高的性能怎么办？ 如果您有能力升级 RAM（16 或 32 GB）或现代 GPU，更大的模型将运行得更流畅，并且您将能够尝试多模式交互（文本、图像、语音）等高级功能。除此之外，还有轻量级、高度优化的模型，在大多数日常任务中表现非常出色。

该体验完全是离线的： 下载模型后，应用程序无需互联网连接即可运行，最大限度地保护隐私并允许您在任何情况下工作。

不断发展的本地人工智能生态系统

目前，个人电脑的本地人工智能解决方案已经达到一定成熟度，可以成为云服务的可靠替代品。 种类繁多的模型、易于安装以及定制功能使得尖端人工智能的使用变得民主化。

谷歌和微软等公司也通过中心化平台（例如 Windows 上的 AI Hub 或 Copilot）做出了贡献，但本地人工智能的真正潜力在于 您可以根据您的特定工作流程、隐私和目标定制您的自定义中心。.

知道你是一个明确的人工智能用户，我们建议你开始学习更多，并利用 ChatGPT 和其他工具的功能，例如，你现在可以拥有一个 ChatGPT 上的价格比较.

现在，您已经掌握了将您的 PC 转变为真正的人工智能中心所需的工具、指南和技巧， 将创新和对信息的绝对控制提升到另一个层次。我们希望您现在知道如何将您的 PC 用作本地 AI 中心。