Cómo conectar OpenAI y otros modelos de IA a AnythingLLM

Si quieres consultar tus propios documentos mediante inteligencia artificial, AnythingLLM permite crear una base de conocimiento sin tener que desarrollar desde cero todo el sistema. La aplicación puede trabajar con modelos ejecutados en el equipo y con proveedores externos accesibles mediante API.

Una de sus principales ventajas es que separa los distintos componentes del sistema. Puedes elegir el modelo de lenguaje, el proveedor de embeddings y la base de datos vectorial, además de organizar los documentos en espacios de trabajo. Esta flexibilidad permite preparar desde un asistente personal hasta una instalación compartida por varios usuarios.

Sin embargo, instalar la aplicación es solo el principio. Para obtener respuestas fiables hay que configurar correctamente el modelo, la conexión, los documentos y los permisos concedidos a los agentes.

AnythingLLM Desktop o Docker: qué versión elegir

AnythingLLM Desktop está pensado principalmente para una sola persona. Se instala como una aplicación convencional en Windows, macOS o Linux y resulta la opción más sencilla para probar modelos locales, consultar documentos y utilizar agentes desde el propio ordenador.

Docker resulta más apropiado cuando necesitas acceder desde el navegador, mantener la aplicación en un servidor o compartirla con otros usuarios. Esta versión permite habilitar cuentas, roles y permisos de acceso a los espacios de trabajo.

Debes decidir con cuidado si activas el modo multiusuario. Según la documentación de AnythingLLM, una instancia que pasa a este modo no puede regresar después al modo de usuario único. Antes de habilitarlo, realiza una copia de seguridad y comprueba que realmente necesitas cuentas independientes.

Los requisitos dependen principalmente del modelo utilizado. AnythingLLM consume pocos recursos cuando se conecta a una API externa, pero ejecutar un modelo local puede necesitar una cantidad considerable de RAM o memoria gráfica. Como referencia general, el proyecto recomienda 16 GB de RAM y una CPU de ocho núcleos para una experiencia básica con modelos locales, aunque el consumo real dependerá del modelo, su cuantización y su ventana de contexto.

Cómo instalar AnythingLLM en el ordenador

La instalación de AnythingLLM Desktop consiste en descargar la versión correspondiente al sistema operativo y completar el asistente inicial. Durante la configuración podrás elegir el modelo de lenguaje, el proveedor de embeddings y la base de datos vectorial.

AnythingLLM incluye opciones locales predeterminadas, entre ellas LanceDB como base de datos vectorial. Esto permite comenzar a procesar documentos sin desplegar una base externa. También puedes conectar servicios diferentes si necesitas otra infraestructura o ya dispones de ella.

En Docker es fundamental montar un volumen persistente sobre la ruta /app/server/storage. Si no lo haces, puedes perder documentos, configuraciones y otros datos cuando el contenedor se elimine o vuelva a crearse.

Una instalación local básica puede desplegarse siguiendo el comando oficial del proyecto y abrirse después mediante:

http://localhost:3001

Si vas a publicar AnythingLLM en Internet, no debes limitarte a abrir su puerto. Configura HTTPS, autenticación, copias de seguridad y un proxy inverso, además de mantener actualizados tanto la imagen como el sistema anfitrión.

Cómo conectar AnythingLLM con OpenAI y otras API

Para utilizar un modelo mediante API, abre los ajustes de AnythingLLM y entra en la configuración del proveedor de lenguaje. OpenAI dispone de una integración específica en la que debes introducir una clave de API y seleccionar uno de los modelos disponibles.

La clave utilizada en la API no es necesariamente la misma que una suscripción a ChatGPT. El uso de los modelos mediante API se factura y administra de forma independiente, por lo que conviene establecer límites de gasto y revisar el consumo.

AnythingLLM también ofrece el proveedor Generic OpenAI. Esta opción permite conectar servicios cuya API sea compatible con el formato esperado por OpenAI, introduciendo normalmente la URL base, la clave, el identificador del modelo, la ventana de contexto y el límite de salida.

Puedes utilizar esta configuración con una pasarela compatible como CometAPI, siempre que proporcione un endpoint admitido por AnythingLLM. En ese caso, debes emplear la URL y el identificador exacto del modelo indicados por el proveedor. No todos los servicios que se anuncian como compatibles implementan las mismas funciones, especialmente el streaming y el uso de herramientas.

Nunca publiques una clave real ni la incluyas en capturas de pantalla. Si sospechas que se ha filtrado, revócala y crea una nueva desde el panel del proveedor.

Cómo conectar Ollama cuando utilizas Docker

Cuando AnythingLLM Desktop y Ollama se ejecutan en el mismo ordenador, la aplicación puede detectar automáticamente la dirección local:

http://127.0.0.1:11434

La situación cambia si AnythingLLM se encuentra dentro de Docker. En ese caso, localhost señala al propio contenedor y no al ordenador anfitrión donde está funcionando Ollama.

En Windows y macOS debes probar con:

http://host.docker.internal:11434

En Linux, la documentación de AnythingLLM recomienda utilizar:

http://172.17.0.1:11434

La dirección puede variar si has modificado la red de Docker. Comprueba también que Ollama esté ejecutándose, que el modelo se haya descargado y que el servidor permita conexiones desde la dirección necesaria. No expongas el puerto de Ollama públicamente sin autenticación y medidas adicionales de seguridad.

Cómo añadir documentos y configurar el RAG

Los espacios de trabajo permiten separar documentos, instrucciones y conversaciones por proyecto. En una instalación multiusuario, los documentos añadidos mediante RAG estarán disponibles para todas las personas que tengan acceso al espacio correspondiente, por lo que debes revisar sus permisos antes de incorporar información confidencial.

AnythingLLM permite trabajar con los documentos de dos maneras. Puedes adjuntarlos directamente a un hilo para incluir su contenido en el contexto del modelo o procesarlos mediante RAG para dividirlos en fragmentos y recuperar solamente los más relacionados con cada pregunta.

Adjuntar el texto completo puede ofrecer más contexto, pero consume más tokens y queda limitado por la ventana admitida por el modelo. El RAG resulta más adecuado para colecciones grandes, aunque la calidad dependerá del troceado, el modelo de embeddings, la consulta y los ajustes de recuperación.

No basta con almacenar un archivo en el gestor de documentos. Si quieres que esté disponible mediante RAG, debes añadirlo al espacio de trabajo y procesarlo para generar sus embeddings.

Si AnythingLLM no encuentra información que sabes que está presente, revisa estas opciones:

• Umbral de similitud: un valor muy restrictivo puede descartar fragmentos relevantes.
• Número máximo de fragmentos: determina cuánto contexto recuperado se envía al modelo.
• Modo de consulta: limita las respuestas al contenido localizado en los documentos.
• Reranking: puede mejorar la selección de resultados a cambio de más procesamiento.
• Modelo de embeddings: debe ser adecuado para el idioma y el tipo de contenido.

No existe un umbral perfecto para todas las colecciones. Realiza varias preguntas cuya respuesta conozcas y ajusta la configuración comparando los fragmentos recuperados.

Cómo utilizar los agentes de AnythingLLM

Los agentes permiten que el modelo utilice herramientas además de generar texto. Según la configuración, pueden buscar dentro de documentos, consultar la web, extraer contenido de páginas, crear gráficos, guardar archivos o ejecutar otras acciones disponibles.

En algunos modelos tendrás que iniciar la sesión escribiendo @agent seguido de la solicitud. Cuando el proveedor admite el uso automático de herramientas, el chat puede entrar directamente en modo agente. Para finalizar manualmente una sesión iniciada de esta forma, puedes utilizar /exit.

La compatibilidad depende del modelo y del proveedor. Un modelo que responda correctamente en un chat convencional no tiene por qué ejecutar herramientas con fiabilidad. En proveedores genéricos también puede ser necesario habilitar expresamente la compatibilidad con llamadas a herramientas.

Antes de conceder acceso a archivos, bases de datos o servicios externos, limita los permisos y prueba el agente con información prescindible. Un agente puede interpretar mal una instrucción, repetir una acción o utilizar una herramienta diferente de la esperada.

Cómo crear habilidades y automatizaciones personalizadas

AnythingLLM permite ampliar los agentes mediante habilidades personalizadas. Una habilidad puede conectarse a una API, consultar una base de datos o enviar una petición a un webhook de servicios como Make o Zapier.

Esto permite crear procesos como consultar documentos y preparar los datos necesarios para actualizar una hoja, registrar una tarea o enviar un aviso. Sin embargo, no conviene conceder al modelo la capacidad de realizar directamente acciones irreversibles.

Para operaciones delicadas, utiliza un flujo con confirmación humana. El agente puede preparar una propuesta, pero una persona debería validar el resultado antes de borrar información, enviar comunicaciones, modificar registros importantes o iniciar un pago.

También debes revisar cualquier habilidad descargada desde una fuente externa. Estas extensiones pueden ejecutar código y acceder a los datos que les proporcione el agente. AnythingLLM mantiene deshabilitada de forma predeterminada la descarga de ciertos paquetes comunitarios precisamente por este riesgo.

Cómo mejorar las respuestas y solucionar errores

Si el modelo no responde, comprueba primero la URL del proveedor, la validez de la clave, el identificador exacto del modelo y los registros de AnythingLLM. En Docker también debes comprobar la conectividad entre el contenedor y cualquier servicio instalado en la máquina anfitriona.

Cuando las respuestas se cortan, revisa la ventana de contexto y el número máximo de tokens de salida. Estos valores deben respetar los límites del modelo utilizado. Aumentarlos en AnythingLLM no amplía las capacidades reales de la API.

Si las respuestas no utilizan correctamente los documentos, prueba el modo de consulta, reduce las preguntas demasiado vagas y revisa los fragmentos recuperados. Desactivar temporalmente la restricción del umbral de similitud puede ayudarte a comprobar si el sistema estaba descartando información útil.

Para mantener el procesamiento dentro del equipo debes utilizar un modelo local, un proveedor local de embeddings y una base vectorial local. También tendrás que evitar las búsquedas web, las API externas y cualquier habilidad que envíe información fuera de la máquina. Solo en esas condiciones puede hablarse de un funcionamiento esencialmente offline.

AnythingLLM puede convertirse en una herramienta muy útil para consultar manuales, organizar documentación o crear asistentes internos. Su principal ventaja no consiste simplemente en conectar muchos modelos, sino en permitir que cada usuario combine el modelo, los documentos y las herramientas que realmente necesita. Para que el sistema sea fiable, conviene empezar con un espacio pequeño, comprobar las fuentes recuperadas y ampliar los permisos de los agentes únicamente cuando el flujo ya esté probado.