如何将手动下载的GGUF模型导入LM Studio

将手动下载的 GGUF 模型导入 LM Studio，即可使用从 Hugging Face 等平台下载的任何 LLM 模型，而无需依赖内置搜索引擎。您可以通过两种方式导入：手动整理本地目录中的文件，或在终端中运行命令。接下来， 让我们一步一步地看看如何将自定义模型集成到 LM Studio 中。.

为什么要将手动下载的 GGUF 模型导入 LM Studio？

将手动下载的 GGUF 模型导入 LM Studio 可以帮助您以完全私密的方式最大限度地发挥硬件性能。在什么情况下建议导入从工具外部下载的模型？建议这样做。 如果应用程序的内置搜索功能不足或不符合您的实际工作流程。以下是其主要使用原因：

• 未列出的型号 拥抱脸 或私有： 如果您正在训练自己的模型，或者开发人员与您共享了一个未在公共存储库中发布的私有 .gguf 文件。
• 下载中断或外部管理器： 应用程序内置的下载管理器在网络连接速度慢或不稳定时经常会失效。使用 wget 等工具可以让你更可靠地暂停/恢复下载，并下载 10 GB 到 50 GB 的文件。
• 实验版本或自定义修改： 如果模型创建者发布了具有自定义量化的变体，您也可以考虑将手动下载的 GGUF 模型导入 LM Studio。
• 当您没有网络连接时： 如果您身处无法访问互联网的地方，可以使用 USB 驱动器或本地网络传输 GGUF 文件，并将其直接集成到 LM Studio 中。

如何将手动下载的GGUF模型导入LM Studio。

接下来，我们解释 如何将手动下载的 GGUF 模型导入 LM Studio 的分步说明首先，我们将通过手动整理LM Studio内部模型文件夹中的文件来实现这一点。然后，我们将向您展示如何通过在终端运行命令来导入这些文件。

手动整理文件

要将手动下载的 GGUF 模型导入 LM Studio，您必须 将其放置在内部模型文件夹中，并遵守应用程序要求的文件夹结构。为此，请按照以下步骤操作：

1. 打开本地模型文件夹： 打开 LM Studio，转到“我的模型”选项卡（左侧边栏中的文件夹图标），然后单击“打开模型目录”。如果您更喜欢从文件资源管理器手动浏览：
   • Windows：C:\Users\YOUR_USER\.cache\lm-studio\models
   • macOS/Linux：~/.cache/lm-studio/models
2. 创建子文件夹结构： LM Studio 要求模型必须位于作者文件夹和模型子文件夹中。请按以下路径创建文件夹：models/[作者姓名]/[模型名称]。例如：models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. 放置 .gguf 文件： 将 .gguf 文件直接移动或复制到您刚刚创建的模型的子文件夹中。
4. 重新加载并选择模型： 返回 LM Studio。在“我的模型”选项卡或顶部模型选择下拉菜单中，单击“重新加载/刷新”图标（如果未立即检测到，请重新启动应用程序）。模型将显示为已准备好加载到内存中。

有时， LM Studio 无法加载模型在之前的文章中，我们分析了 常见错误及解决方法 您可以按照以下步骤操作。如果您无法加载模型，可以查看相关说明，了解具体原因以及如何解决。

使用 lms 导入

将手动下载的GGUF模型导入LM Studio的另一种方法是 在终端中运行以下命令：

• lms导入并按照交互式说明完成导入过程。
• 这是LM Studio中预期的模型目录结构：
  • ~/.lmstudio/models/
    出版商/
    模型/
    模型文件.gguf
• 例如，如果您有一个名为 ocelot-v1 的模型，该模型由 infra-ai 发布，则其结构如下所示：
  • ~/.lmstudio/models/
    基础设施人工智能/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

使用 LM Studio 的原生 CLI

LM Studio 包含一个命令行工具，用于 无需打开图形界面即可管理和运行模型要将手动下载的 GGUF 模型导入 LM Studio，您还可以执行以下操作：

1. 安装 lms 命令： 打开 LM Studio，转到侧边栏中的“开发者/CLI”选项卡，然后单击“安装‘lms’命令行工具”（或在终端中运行 lms Bootstrap）。
2. 使用LMS加载模型： 将 .gguf 文件放入 models 文件夹后，运行：lms load –gpu max。
3. 发起互动对话： LMS聊天记录。
4. 启动与 OpenAI 兼容的本地服务器： lms服务器启动。

将手动下载的GGUF模型导入LM Studio的优势：可以

将手动下载的 GGUF 模型导入 LM Studio 可以提供以下几个功能： 在性能、可访问性和可定制性方面，我们拥有关键优势。主要优势如下：

• 更快更稳定的下载： 外部下载管理器比内置客户端更能应对连接速度慢或不稳定的情况。这样，您就可以暂停或恢复大型文件的下载，而不会丢失进度。
• 使用自有或私有模型： 如果您训练了自己的本地模型，而这些模型没有托管在任何公共存储库中，则需要使用以下方法之一手动导入它们。
• 与离线环境的兼容性： 它允许您将模型传输到 USB 驱动器或本地网络，以便在高安全性的计算机上或无法访问互联网的计算机上工作。
• 节省磁盘空间： 如果您已经在 llama.cpp、Ollama 或 AnythingLLM 等其他环境中使用过相同的 .gguf 文件，则可以避免文件重复。您只需将它们移动或链接到 LM Studio 模型文件夹即可。
• 更完善的版本控制： 您可以确保使用模型的精确版本，而无需担心源代码库中的模型发生更改或意外更新。

总之，手动将 GGUF 模型导入 LM Studio 可以让您完全掌控本地环境。无论您是通过将文件整理到子文件夹中还是使用终端来完成此操作，此过程都允许您利用自定义量化、离线工作并高效地管理资源。通过应用本文讨论的理念，您将能够： 个性化您的开发体验，并提升您的人工智能项目。.