Cómo crear una base de conocimiento privada en Open WebUI

Si alguna vez te has preguntado cómo sería tener la potencia de un asistente como ChatGPT pero funcionando directamente en tu propio ordenador, sin que tus datos pasen por los servidores de una gran empresa, Open WebUI es la respuesta. Esta herramienta se ha convertido en la joya de la corona para quienes buscan una interfaz pulida, profesional y, sobre todo, privada, que actúe como capa visual sobre motores de ejecución de modelos locales.

Lo mejor de todo es que no necesitas ser un experto en programación para ponerlo en marcha. Al combinarlo con Ollama, consigues una infraestructura donde tienes el control absoluto de cada token generado, eliminando cuotas mensuales y preocupaciones sobre la seguridad de tu información sensible, ya que todo el procesamiento ocurre en tu hardware.

¿Qué es exactamente Open WebUI y cómo se diferencia de Ollama?

Para entenderlo bien, imagina que Ollama es el motor de un coche; es la parte técnica que hace que todo se mueva, descarga los modelos (archivos GGUF) y los ejecuta usando tu CPU o GPU. Por otro lado, Open WebUI es la carrocería y el salpicadero: es la interfaz web intuitiva que nos permite chatear, organizar conversaciones y gestionar documentos sin tener que escribir comandos en una terminal negra y aburrida.

Aunque se suele asociar siempre a Ollama, Open WebUI es en realidad un sistema flexible. Puede conectarse a cualquier API compatible con OpenAI, lo que significa que podrías usar backends como vLLM, LocalAI o incluso servicios en la nube si en algún momento decides salirte del entorno local. Esta versatilidad lo convierte en una estación de trabajo de IA completa y no solo en un simple visor de chats.

Instalación y despliegue: Del comando al primer chat

La ruta más sencilla y recomendada para instalar este sistema es a través de Docker. Para quienes ya tienen Ollama funcionando en su máquina, basta con ejecutar un comando que despliegue el contenedor de Open WebUI. Es vital añadir el flag –add-host=host.docker.internal:host-gateway, especialmente en Linux, para que el contenedor pueda «ver» al servidor de Ollama que corre en el host y evitar el típico error de conexión.

Si buscas algo más robusto para un entorno de producción o un equipo de trabajo, Docker Compose es la opción ideal. Permite definir ambos servicios en un archivo YAML, asegurando que la red interna de Docker gestione la comunicación mediante nombres de servicio (como http://ollama:11434) y que los datos se mantengan persistentes en volúmenes nombrados, evitando que pierdas tu historial al reiniciar.

Para los usuarios que prefieren evitar Docker, existe la posibilidad de instalarlo mediante pip, aunque es un camino más manual. Independientemente del método, el primer paso tras acceder a la web es crear la cuenta de administrador, la cual otorgará permisos totales para gestionar usuarios, modelos y la configuración general del sistema.

Creando una Base de Conocimiento Privada con RAG

La verdadera magia comienza cuando configuras el RAG (Generación Aumentada por Recuperación). En lugar de confiar solo en lo que el modelo «aprendió» durante su entrenamiento, puedes subir tus propios archivos para que la IA consulte información real y actualizada. Puedes añadir PDFs, hojas de cálculo, archivos de texto, Markdown o documentos de Word.

Para que esto funcione a pedir de boca, debes ir a la sección de Workspace y crear una «Colección de Conocimiento». El sistema se encarga de fragmentar los documentos en trozos pequeños (chunks), generar incrustaciones vectoriales usando modelos como nomic-embed-text y almacenarlos en una base de datos como ChromaDB o PGVector. Así, cuando haces una pregunta, el sistema busca los fragmentos más relevantes y los entrega al modelo como contexto.

Existen dos modos de recuperación fundamentales. El Focused Retrieval es el estándar del RAG, ideal para bibliotecas enormes donde solo se necesitan partes específicas. Por otro lado, el Full Context inyecta el documento entero en el prompt; es fantástico para guías de estilo cortas o documentos breves donde no quieres que la IA ignore ni una sola palabra.

Herramientas avanzadas: Pipelines, Functions y MCP

Lo que separa a Open WebUI de otras interfaces más simples es su capacidad de expansión. A través de los Pipelines, que son servicios de Python externos, puedes crear filtros de mensajes, enrutadores de modelos o manejadores personalizados. Por ejemplo, podrías programar un filtro que elimine automáticamente datos personales (PII) antes de que el prompt llegue al modelo.

Dentro de la propia interfaz existen las Functions, que permiten añadir botones de acción o procesos de pre y post procesamiento sin salir de la web. Además, el soporte para el Model Context Protocol (MCP) permite que la IA interactúe con herramientas externas como GitHub, Slack o el sistema de archivos de tu servidor, convirtiendo al chat en un verdadero agente capaz de ejecutar tareas.

Si tienes habilitado el modo de funciones nativas, los modelos más potentes pueden usar herramientas como kb_exec. Esto les permite navegar por tu base de conocimientos como si fuera una terminal de Linux, usando comandos como ls para listar archivos, grep para buscar cadenas exactas o cat para leer el contenido de una página específica, mejorando drásticamente la precisión en documentos técnicos.

Optimización de hardware y resolución de problemas

Para que la experiencia sea fluida, la aceleración por GPU es innegociable. En NVIDIA se logra mediante el Container Toolkit, mientras que en Mac es fundamental ejecutar Ollama de forma nativa fuera de Docker para aprovechar la GPU Metal. Si notas que el modelo es lento, puede que estés usando una versión demasiado grande para tu VRAM; en esos casos, optar por modelos cuantizados o versiones de 3B a 8B parámetros suele ser el punto equilibrado.

Un problema recurrente es que los archivos subidos no se reflejan en las respuestas. Esto suele deberse a que los fragmentos de texto son demasiado grandes para la ventana de contexto del modelo. Ajustar el tamaño del chunk en la configuración de administración (bajándolo a 800 tokens, por ejemplo) suele solucionar el problema y permite que la IA tenga espacio para procesar tanto la pregunta como la respuesta.

En cuanto a la seguridad, si decides exponer tu instancia a internet, es imperativo usar un proxy inverso como Caddy o un túnel de Cloudflare para implementar HTTPS. Además, debes desactivar el autoregistro de usuarios una vez creadas las cuentas necesarias, ya que dejar el puerto 3000 abierto al mundo permitiría que cualquier desconocido se registre como administrador de tu sistema.

Tener un entorno de IA autogestionado permite transformar la productividad personal y empresarial al integrar documentación técnica, contratos legales o notas de investigación en un sistema que no filtra ni juzga, procesando todo el volumen de datos de forma local y segura. La combinación de una interfaz versátil con la capacidad de ejecutar modelos de vanguardia en hardware propio garantiza que la privacidad no sea un sacrificio, sino una característica central del flujo de trabajo.