Cómo descargar y ejecutar modelos en Jan AI

Jan AI es una de las aplicaciones más amigables para usar grandes modelos de lenguaje en local. ¿La has probado? En esta entrada te contamos las distintas formas de descargar y ejecutar modelos en Jan AI. También ahondamos en los ajustes que puedes aplicar para afinar todavía más la generación de respuestas.

Cómo descargar y ejecutar modelos en Jan AI

Descargar y ejecutar modelos en Jan AI es un proceso bastante sencillo. En realidad, esta aplicación destaca por tener una interfaz amigable y fácil de usar incluso para los menos experimentados. ¡Pero que no la subestimes! También es una potente herramienta con capacidades de integración a nivel profesional y técnico.

Jan no es más que un asistente de IA de código abierto que funciona 100% offline. Esto significa que todos los modelos que ejecutes lo harán en tu propia máquina, utilizando tu RAM y potencia de procesamiento. De esta manera, queda garantizado que tus datos nunca salgan de tu equipo: ¡completamente privado!

La herramienta gestiona modelos en formato GGUF a través de Llama.cpp, lo que la hace compatible con una amplia gama de hardware, desde Mac hasta Windows y Linux. Además, ofrece una interfaz intuitiva que simplifica la descarga y gestión de estos modelos, y se conecta directamente con el vasto catálogo de Hugging Face. Veamos de cerca cómo funciona.

Método 1: Descarga desde el Hub de Jan

Si eres nuevo en Jan o buscas la experiencia más fluida, la formas más sencilla y directa de descargar y ejecutar modelos en Jan AI es desde el Hub de Jan. La aplicación cuenta con un Hub integrado que actúa como una ventana al mundo de los modelos de Hugging Face.

Por si no lo sabías, Hugging Face es la plataforma y comunidad global más importante donde desarrolladores y empresas comparten y prueban modelos de IA de código abierto. Este espacio es para el mundo de la inteligencia artificial lo que GitHub es para el mundo de la programación.

A través de Jan puedes explorar la enorme diversidad de modelos open source disponibles en Hugging Face.

• Para ello, abre Jan AI y haz clic en la pestaña Hub, identificada por un icono de cuatro cuadrados en la barra lateral.
• Allí puedes navegar por la lista de modelos disponibles. Haz clic en cualquiera para ver detalles como su tamaño, parámetros y una breve descripción.
• Una de las más útiles funciones del Hub es que te indica si un modelo «Encaja», «Puede ir lento» o «No encaja» en tu hardware. Esto te ayuda a elegir modelos que funcionarán correctamente en tu equipo sin tener que adivinar.
• También verás etiquetas de cuantización, como «Pequeño», «Equilibrado» o «Grande», con una etiqueta «Recomendado» para la opción por defecto.

Ya decíamos que descargar y ejecutar modelos en Jan AI es un proceso sencillo. La herramienta lo pone muy fácil: cuando encuentres el modelo adecuado, solo tienes que hacer clic en el botón Descargar. El proceso de descarga se mostrará en la barra superior, y puedes cancelarlo en cualquier momento si lo deseas.

Método 2: Importar un modelo directamente desde Hugging Face

Esta es otra forma de descargar y ejecutar modelos en Jan AI, especialmente útil si el modelo que tienes en mente no aparece en el Hub. En ese caso, puedes ir directamente a la web de Hugging Face, buscar allí el modelo en cuestión y finalmente importarlo. Veamos cómo hacerlo paso a paso:

1. Ve a la página de Hugging Face y encuentra el modelo que te interese. Asegúrate de que esté en formato GGUF para que sea compatible con Jan.
2. Copia el ID del modelo, por ejemplo prism-ml/Ternary-Bonsai-27B-gguf
3. Ahora vuelve a la aplicación Jan, ve a la pestaña Hub y pega el ID del modelo en la barra de búsqueda. Jan buscará el modelo en Hugging Face y te ofrecerá la opción de descargarlo.
4. Si el modelo tiene varias versiones cuantizadas, podrás elegir la que mejor se adapte a tu hardware. Por ejemplo, un archivo Q4_K_M suele ofrecer un buen equilibrio entre rendimiento y calidad. Para ver las distintas versiones, haz clic en la pestaña Mostrar variantes del Hub de Jan.

Método 3: Usar el botón «Use this model» en Hugging Face

Veamos una tercera manera de descargar y ejecutar modelos en Jan AI, esta vez directamente desde la plataforma Hugging Face. La web ha integrado a Jan como una de sus aplicaciones locales con las que se puede abrir un modelo. Es la vía más rápida:

1. Ve a la página del modelo en Hugging Face.
2. Busca y haz clic en el botón «Use this model» (Usa este modelo).
3. En el menú desplegable, bajo la sección «Local Apps», selecciona Jan. Esto debería activar la descarga directamente en tu aplicación.

Un detalle: para que Hugging Face muestre a Jan entre las aplicaciones locales, conviene primero iniciar sesión en Hugging Face con tu email y contraseña. Con esto, son tres los métodos disponibles para descargar y ejecutar modelos en Jan AI. Pero ahora veamos cómo ejecutar y usar el modelo una vez descargado.

¿Cómo ejecutar y usar el modelo una vez descargado?

Una vez que el modelo está en tu ordenador, ejecutarlo es sencillo. Puedes interactuar con él directamente en la interfaz de chat de Jan. Para seleccionarlo, ve al chat y despliega la pestaña que está en la parte superior. Allí están todos los modelos descargados y las diferentes entradas para activar modelos mediante API Key.

Otro aspecto superútil de descargar y ejecutar modelos en Jan AI es que puedes ajustar diversos parámetros de rendimiento. Con esto es posible afinar mucho más la calidad o velocidad con que el modelo genera respuestas. Solo tienes que clicar en la rueda dentada junto al modelo, y verás opciones como:

• Temperature: controla la creatividad.
• Top-p: ajusta la diversidad de palabras.
• Max tokens: define la longitud máxima de la respuesta.
• Context size: determina cuánta información puede recordar el modelo.

Así, si buscas precisión, baja la temperatura. Si quieres creatividad, súbela. Y para análisis técnicos, aumenta el contexto. Jugar con estas opciones te permite definir el tipo de respuesta que obtendrás tras cada consulta.

¡Y ya lo tienes! Descargar y ejecutar modelos en Jan AI es un proceso sorprendentemente accesible. Solo ten cuidado de elegir modelos que rindan sin inconvenientes en tu ordenador. Aprovecha las distintas opciones de configuración de Jan AI y explota el potencial de la inteligencia artificial en local.