Cómo importar un modelo GGUF descargado manualmente en LM Studio

Importar un modelo GGUF descargado manualmente en LM Studio, te permite usar cualquier LLM que descargues desde plataformas como Hugging Face sin depender del buscador integrado. Puedes importarlo de dos maneras: organizando los archivos manualmente en el directorio local o ejecutando comandos en la terminal. A continuación, veamos paso a paso cómo integrar tus modelos personalizados en LM Studio.

Por qué importar un modelo GGUF descargado manualmente en LM Studio

Importar un modelo GGUF descargado manualmente en LM Studio te ayudará a aprovechar al máximo tu hardware de forma totalmente privada. ¿En qué situaciones se recomienda importar modelos descargados fuera de la herramienta? Es recomendable hacerlo si la búsqueda interna de la aplicación se queda corta o no se adapta a tu flujo real de trabajo. Estos son los principales motivos de uso:

• Modelos no listados en Hugging Face o privados: Si estás entrenando tu propio modelo o si un desarrollador te compartió un archivo .gguf privado que no está publicado en repositorios públicos.
• Descargas interrumpidas o gestores externos: El gestor de descargas integrado en las aplicaciones suele fallar con conexiones lentas o inestables. Usar herramientas como wget te permite pausar / reanudar y bajar archivos de 10 GB hasta 50 con mayor fiabilidad.
• Versiones experimentales o modificaciones custom: También puedes pensar en importar un modelo GGUF descargado manualmente en LM Studio si un creador de modelos lanzó variantes con cuantizaciones personalizadas.
• Cuando no tienes conexión a Internet: Si te encuentras en un lugar donde no tienes acceso a Internet, puedes transferir el archivo GGUF mediante una unidad USB o red local e integrarlo directamente en LM Studio.

Cómo importar un modelo GGUF descargado manualmente en LM Studio.

A continuación, te explicamos paso a paso como importar un modelo GGUF descargado manualmente en LM Studio. Primero, veremos cómo hacerlo organizando los archivos manualmente dentro de la carpeta interna de modelos de LM Studio. Después, te enseñaremos a importarlo ejecutando un comando en tu terminal.

Organiza los archivos manualmente

Para importar un modelo GGUF descargado manualmente en LM Studio, debes colocarlo dentro de la carpeta interna de modelos respetando la estructura de carpetas que requiere la aplicación. Para ello, sigue estos pasos:

1. Abre la carpeta local de modelos: Abre LM Studio, ve a la pestaña My Models (el icono de carpeta en la barra lateral izquierda) y haz clic en Open Models Directory. Si prefieres navegar manualmente desde tu explorador de archivos:
   • Windows: C:\Users\TU_USUARIO\.cache\lm-studio\models
   • macOS / Linux: ~/.cache/lm-studio/models
2. Crea la estructura de subcarpetas: LM Studio requiere que los modelos estén dentro de una carpeta de autor y una subcarpeta del modelo. Crea las carpetas siguiendo la ruta: models / [Nombre_del_Autor] / [Nombre_del_Modelo]. Este es un ejemplo de como quedaría: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Coloca el archivo .gguf: Mueve o copia tu archivo .gguf directamente dentro de la subcarpeta del modelo que acabas de crear.
4. Recarga y selecciona el modelo: Vuelve a LM Studio. En la pestaña My Models o en el menú desplegable superior de selección de modelos, presiona el ícono de Reload / Refresh (o reinicia la aplicación si no se detecta de inmediato). El modelo aparecerá listo para cargarse en memoria.

A veces, LM Studio no es capaz de cargar un modelo. En un artículo anterior analizamos los errores frecuentes y las soluciones paso a paso, que puedes aplicar. Puedes echarle un vistazo para averiguar qué está pasando si no puedes cargar un modelo y cómo arreglarlo.

Usa lms import

Otra manera de importar un modelo GGUF descargado manualmente en LM Studio es ejecutando el siguiente comando en tu terminal:

• lms import <path/to/model.gguf> y sigue las instrucciones interactivas para completer el proceso de importación.
• Esta es la estructura de directorios de modelos esperada de LM Studio:
  • ~/.lmstudio/models/
    publisher/
    model/
    model-file.gguf
• Por ejemplo, si tienes un modelo que se llama ocelot-v1 publicado por infra-ai, la estructura se vería como:
  • ~/.lmstudio/models/
    infra-ai/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

Usando la CLI nativa de LM Studio

LM Studio incluye una herramienta de línea de comandos para gestionar y ejecutar modelos sin abrir la interfaz gráfica. Para importar un modelo GGUF descargado manualmente en el LM Studio también puedes hacer lo siguiente:

1. Instalar el comando lms: Abre LM Studio, ve a la pestaña Developer / CLI en la barra lateral y haz clic en Install ‘lms’ command line tool (o ejecuta lms Bootstrap en tu terminal).
2. Carga el modelo mediante lms: Una vez que el archivo .gguf está en la carpeta de modelos, ejecuta: lms load –gpu max.
3. Inicia una conversación interactiva: lms chat.
4. Inicia un servidor local compatible con OpenAI: lms server start.

Ventajas de importar un modelo GGUF descargado manualmente en el LM Studio es posible

Importar un modelo GGUF descargado manualmente en LM Studio ofrece varias ventajas clave si hablamos de rendimiento, accesibilidad y personalización. Estos son los principales beneficios:

• Descargas más rápidas y estables: Los gestores de descarga externos gestionan mejor las conexiones lentas o inestables que el cliente integrado. Lo que permite pausar o reanudar las descargas masivas de más peso sin perder progreso.
• Uso de modelos propios o privados: Si entrenas tus propios modelos locales, tendrás que importarlos manualmente con uno de estos métodos si no están alojados en ningún repositorio público.
• Compatibilidad con entornos sin conexión: Permite transferir modelos en unidades USB o redes locales para trabajar en equipos de alta seguridad, o que no tengan acceso a Internet.
• Ahorro de espacio en disco: Evitas duplicar archivos si ya utilizas esos mismos .gguf en otros entornos como llama.cpp, Ollama o AnythingLLM. Solo tienes que moverlos o vincularlos a la carpeta de modelos de LM Studio.
• Mayor control de versión: Aseguras el uso de una revisión exacta del modelo sin riesgo de que cambie o se actualice inesperadamente en el repositorio de origen.

En conclusión, importar un modelo GGUF manualmente en LM Studio te otorga control total sobre tu entorno local. Ya sea que lo haga organizando los archivos en subcarpetas o utilizando la terminal, este procedimiento te permite aprovechar cuantizaciones personalizadas, trabajar sin conexión y gestionar tus recursos eficientemente. Si aplicas las ideas analizadas en este artículo, podrás personalizar tu experiencia de desarrollo y potenciar tus proyectos de IA.