Cómo instalar y configurar AnythingLLM con Docker

AnythingLLM permite crear un asistente de inteligencia artificial capaz de consultar tus propios documentos, utilizar modelos locales y organizar la información en espacios de trabajo independientes. Puede instalarse en un ordenador personal o desplegarse en un servidor mediante Docker, dependiendo de si necesitas utilizarlo tú solo o compartirlo con otras personas.

Aunque puede funcionar de forma completamente local, la privacidad depende de los proveedores que configures. Si conectas servicios externos para el modelo de lenguaje, los embeddings o cualquier herramienta adicional, parte de la información puede salir de tu infraestructura.

Qué versión elegir: Desktop o Docker

AnythingLLM Desktop es la opción más sencilla para un único usuario. Está disponible para Windows, macOS y Linux, utiliza un instalador convencional e incluye un proveedor de modelos locales integrado. También permite trabajar con RAG, documentos y agentes sin montar un servidor.

La versión Docker está pensada para acceder desde el navegador, crear una instancia multiusuario, administrar permisos o publicar un widget de chat en una página web. A diferencia de Desktop, Docker no incluye un proveedor de LLM integrado, por lo que deberás conectarlo a Ollama, LM Studio o una API compatible.

Docker puede funcionar inicialmente en modo de usuario único. Si activas el modo multiusuario, podrás crear cuentas con diferentes funciones y limitar el acceso a los espacios de trabajo. Ten en cuenta que el cambio a multiusuario no se puede revertir desde la aplicación.

Cómo instalar AnythingLLM con Docker

Primero necesitas tener Docker instalado. En Linux o macOS puedes crear una carpeta persistente y ejecutar la imagen oficial con estos comandos:

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p "$STORAGE_LOCATION"
touch "$STORAGE_LOCATION/.env"

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v "$STORAGE_LOCATION:/app/server/storage" \
  -v "$STORAGE_LOCATION/.env:/app/server/.env" \
  -e STORAGE_DIR="/app/server/storage" \
  --restart unless-stopped \
  mintplexlabs/anythingllm:latest

Después podrás abrir http://localhost:3001. El volumen montado en /app/server/storage es importante porque permite conservar los documentos, la configuración y la base de datos cuando reinicias o sustituyes el contenedor.

Si necesitas utilizar el scraping de páginas web, la documentación oficial indica que debes añadir --cap-add SYS_ADMIN. Esta capacidad concede privilegios amplios al contenedor, por lo que no conviene incorporarla si no vas a utilizar dicha función.

En un servidor accesible desde Internet, coloca AnythingLLM detrás de un proxy inverso con HTTPS, limita los puertos mediante el cortafuegos y activa la autenticación. No expongas una instancia sin proteger directamente a través del puerto 3001.

Cómo conectar Ollama u otro proveedor de IA

Durante la configuración inicial debes seleccionar un modelo de lenguaje, un proveedor de embeddings y una base de datos vectorial. AnythingLLM incluye un modelo de embeddings que funciona en la CPU y utiliza LanceDB como base vectorial predeterminada, pero en Docker tendrás que configurar el LLM por separado.

Si Ollama o LM Studio se ejecutan en el mismo ordenador, no utilices localhost como dirección desde AnythingLLM, ya que dentro del contenedor esa dirección apunta al propio contenedor. En Windows y macOS puedes utilizar host.docker.internal. Para una instalación Linux con la red predeterminada, la documentación de AnythingLLM propone la dirección 172.17.0.1, aunque puede variar si has personalizado la red de Docker.

También puedes conectar servicios como OpenAI, Anthropic o Gemini. En ese caso, los mensajes y el contexto recuperado que se envíen al modelo estarán sujetos a las condiciones de privacidad del proveedor externo.

Cómo funcionan los espacios de trabajo y el RAG

Los espacios de trabajo permiten separar documentos, conversaciones e instrucciones. Por ejemplo, puedes dedicar uno a manuales técnicos y otro a documentación comercial sin mezclar las fuentes utilizadas en las respuestas.

Un documento adjunto a una conversación queda limitado a ese hilo y puede introducir su texto completo en el contexto. En cambio, al integrarlo mediante RAG, AnythingLLM lo divide en fragmentos, genera sus vectores y lo deja disponible para todas las conversaciones del espacio de trabajo. En modo multiusuario, también estará disponible para las personas que tengan acceso a ese espacio.

Si el sistema no recupera el fragmento adecuado, puedes revisar el número máximo de resultados y el umbral de similitud. La propia documentación recomienda probar la opción sin restricciones cuando se están descartando fragmentos relevantes.

También puedes fijar un documento para introducir su texto completo en el contexto. Esta opción solo resulta adecuada cuando el archivo cabe en la ventana de contexto, ya que puede aumentar el consumo, el tiempo de respuesta y el coste si utilizas una API externa.

Cómo utilizar agentes, flujos y la API

Los agentes pueden utilizar herramientas para buscar información mediante RAG, consultar páginas web, guardar archivos o ejecutar flujos configurados previamente. Su funcionamiento depende del modelo elegido, ya que algunos modelos pequeños o muy cuantizados tienen dificultades para generar llamadas a herramientas correctamente.

Si aparece el símbolo correspondiente en el cuadro de escritura, debes comenzar la petición con @agent. Cuando ese indicador no aparece, AnythingLLM puede activar automáticamente las herramientas compatibles. Para terminar una sesión iniciada manualmente se utiliza el comando /exit.

AnythingLLM también dispone de una API para gestionar documentos, espacios de trabajo y conversaciones. La documentación interactiva se encuentra en /api/docs dentro de tu instancia. Protege las claves de la API, ya que cualquier persona que obtenga una podrá ejecutar las operaciones asociadas a sus permisos.

Los Agent Flows permiten encadenar acciones, como consultar una página, procesar su contenido y devolver una selección de resultados. Antes de automatizar tareas importantes, comprueba el flujo con datos de prueba y limita las herramientas disponibles.

Privacidad y problemas habituales

Para mantener el procesamiento dentro de tu infraestructura, debes utilizar un modelo local, un proveedor local de embeddings y una base vectorial alojada en el mismo sistema. También debes evitar herramientas que consulten servicios externos. Utilizar Ollama para el LLM no garantiza por sí solo que todo el flujo sea local.

AnythingLLM recopila telemetría anónima que puede desactivarse desde el apartado de privacidad de la aplicación. Incluso después de hacerlo pueden existir conexiones externas si utilizas APIs, modelos remotos, búsquedas web o recursos descargados desde Internet.

Si Docker muestra errores de permisos, revisa que el UID y el GID configurados coincidan con los del propietario de la carpeta persistente. La imagen utiliza normalmente el valor 1000, pero este identificador no es igual en todos los sistemas.

Antes de actualizar el contenedor, realiza una copia de seguridad de la carpeta de almacenamiento. En una instalación importante también conviene fijar una versión concreta de la imagen y probar las actualizaciones antes de aplicarlas.

AnythingLLM es una opción interesante para consultar documentos mediante IA, crear bases de conocimiento y compartir asistentes internos. Sin embargo, antes de desplegarlo debes decidir qué componentes serán locales, quién tendrá acceso y qué información podrá enviarse a proveedores externos.