Cómo conectar LocalAI con AnythingLLM en 4 pasos

Conectar LocalAI con AnythingLLM es una de las mejores combinaciones para aprovechar el potencial de la IA en local. La primera funciona como el motor de inferencia, mientras que la segunda entrega una interfaz intuitiva para la gestión de conocimiento. En esta guía te explicamos cómo conectar estas dos herramientas para crear un asistente personal.

¿Qué son LocalAI y AnythingLLM?

Antes de ponernos a conectar LocalAI con AnythingLLM, conviene entender qué hace cada uno y por qué conviene combinarlos. Hablando del primero, LocalAI nace como un sustituto directo y compatible con la API de OpenAI. Se trata de un servidor de inferencia que permite descargar y ejecutar en local no solo modelos de lenguaje (LLM), sino también de voz a texto y hasta generadores de imágenes.

La mayor ventaja de LocalAI es que es compatible con cualquier app diseñada para interactuar con OpenAI. Lo único que hay que hacer es cambiar la URL base (http://localhost:8080/v1) y utilizar una API key ficticia. Los modelos corren en local, así que no pagas tokens ni suscripciones, y quedan disponibles vía servidor para cualquier cliente IA en diferentes equipos.

Del otro lado tenemos al cliente IA AnythingLLM, un entorno de trabajo que combina chat, embeddings, RAG, agentes y herramientas de productividad. Una de sus funciones más sobresalientes es convertir documentos locales en fuentes que la IA pueda consultar para generar respuestas. Con AnythingLLM también puedes descargar modelos de lenguaje y ejecutarlos en local.

¿Por qué conectar LocalAI con AnythingLLM?

Es verdad que las versiones recientes de AnythingLLM permiten descargar y ejecutar modelos de lenguaje de forma directa en su interfaz. Pero, si ya utilizas LocalAI para gestionar modelos de lenguaje, no hace falta que descargues otros desde AnythingLLM. Puedes conectar ambas herramientas: usar la primera como motor de inferencia backend, y la segunda como frontend o interfaz de usuario.

Usar LocalAI como servidor central te permite atender distintas solicitudes desde diferentes aplicaciones y equipos. Así, puedes usar AnythingLLM para tus documentos, un complemento de autocompletado de código en tu editor, bots de automatización o scripts de Python. Todas estas herramientas se valdrían de un mismo servidor IA (Local AI) para ejecutar distintas tareas al mismo tiempo.

Además, conectar LocalAI con AnythingLLM pone a tu disposición un potente motor RAG para la gestión de documentos locales. Con AnythingLLM puedes crear una especie de ChatGPT privado que responda usando tus propios documentos y archivos. Cuando conectas ambas herramientas, creas un entorno capaz de competir con soluciones comerciales, pero sin depender de la nube.

Cómo conectar LocalAI con AnythingLLM paso a paso

Veamos ahora cómo conectar LocalAI con AnythingLLM paso a paso. Para garantizar una experiencia fluida durante el procesamiento local, conviene tener el hardware recomendado. Mínimo, necesitas 16 GB de RAM (32 GB para modelos de 7B o más) y al menos 30 GB libres en SSD. Es mucho mejor si también tienes una gráfica con soporte CUDA para acelerar la velocidad de respuesta.

Paso 1: Desplegar LocalAI con Docker Compose

Naturalmente, para conectar LocalAI con AnythingLLM necesitas a ambas herramientas en funcionamiento. Si ya las tienes, salta hasta el paso número 3. Si no, lo primero entonces es desplegar LocalAI, y no hay mejor manera de hacerlo que con Docker Compose. Encontrarás una guía detallada de cómo hacerlo en la entrada Cómo instalar LocalAI con Docker paso a paso.

Una vez que el contenedor está activo, accede a http://localhost:8080 para gestionar la galería de modelos. Desde allí puedes descargar un modelo de chat en formato GGUF (por ejemplo, variantes de Llama 3 o Mistral 7B) y un modelo de embeddings (como bge-small o text-embedding-ada-002). Importante: conserva el nombre exacto asignado a cada modelo.

Paso 2: Instalar AnythingLLM

El segundo paso es instalar la aplicación AnythingLLM, si aún no lo has hecho. Este cliente puede instalarse como aplicación de escritorio o como contenedor de servidor. Para un entorno de trabajo personal, la versión de escritorio ofrece la mejor integración. La descarga para distintas plataformas puede hacerse fácilmente desde la web oficial de AnythingLLM. Si necesitas más detalles, mira la entrada Cómo instalar AnythingLLM en Windows paso a paso.

También puedes instalar AnythingLLM con Docker. Una vez tengas la aplicación activa, es importante configurarla por primera vez, lo que implica activar permisos y descargar modelos. Pero esto último no hará falta, ya que vamos a conectarla con LocalAI para utilizar los modelos que tengas descargados allí. Cuando abres la aplicación, el asistente te pide que selecciones un proveedor LLM: obvia esta parte y salta al panel principal.

Paso 3: Conectar LocalAI con AnythingLLM vía API

Con ambas herramientas instaladas y listas, es hora de conectar LocalAI con AnythingLLM. La conexión la haremos vía API, y para ello tenemos que ir a AnythingLLM y configurar el modelo de lenguaje. Lo que haremos será decirle a AnythingLLM que utilice el modelo de lenguaje descargado en LocalAI. Sigue estos pasos:

1. En AnythingLLM, haz clic en el icono de Ajustes que está abajo del panel izquierdo.
2. Ahora despliega la pestaña Proveedores de IA y clica en LLM.
3. En el desplegable Proveedor de LLM, selecciona LocalAI.
4. Ahora introduce los parámetros de conexión:
   1. LocalAI Base URL: http://localhost:8080/v1 (si AnythingLLM se ejecuta en Docker dentro de Linux, utiliza la IP de la interfaz puente o [http://host.docker.internal:8080/v1] (http://host.docker.internal:8080/v1)).
   2. Model Name: El nombre exacto del modelo de texto cargado en LocalAI (ejemplo: llama-3-8b-instruct).
   3. Model context window: Define la ventana de contexto permitida por el modelo (habitualmente 4096 u 8192 tokens).
5. Guarda los cambios.

Configuración del modelo de Embebidos (Embedder)

Para procesar y buscar dentro de tus documentos mediante RAG, AnythingLLM necesita un modelo que transforme el texto en vectores. Configúralo así:

1. Dentro de Ajustes- Proveedores de IA, clica en Incrustador (Embedder).
2. De nuevo, selecciona LocalAI como proveedor.
3. Configura la Base URL: http://localhost:8080/v1.
4. En Embedding Model Name, ingresa o selecciona el nombre de tu modelo vectorial activo en LocalAI.
5. Haz clic en guardar para confirmar la selección. Con esto, acabas de conectar LocalAI con AnythingLLM.

Paso 4: Creación de un Workspace y prueba de RAG

Después de conectar LocalAI con AnythingLLM, lo que queda es crear un espacio de trabajo y hacer una prueba. Para ello, clica en Nuevo espacio de trabajo y asígnale un nombre. Ahora, clica en el icono de carga de archivos para subir tus documentos (PDF, TXT, MD). Selecciona los archivos cargados, haz clic en Move to Workspace y luego en Save and Embed.

Ahora puedes abrir la ventana de chat del workspace y realizar una consulta contextual. AnythingLLM convertirá tu pregunta en un vector, buscará los fragmentos más relevantes en su base de datos vectorial local, enviará el contexto formateado a LocalAI y este responderá basándose en la información de tus archivos.

¡Está hecho! Conectar LocalAI con AnythingLLM es un proceso sencillo que ofrece lo mejor de dos mundos. Por un lado, un motor de inferencia privado, compatible y potente; por el otro, una interfaz intuitiva con acceso a archivos locales. Juntos conforman la base para un ecosistema de IA en local con gran potencial de escalado.