- Självhanterad webbgränssnittsplattform som möjliggör interaktion med lokala språkmodeller med fullständig sekretess.
- Avancerat organisationssystem med hierarkiska mappar och kunskapsbashantering (RAG).
- Utbyggbart via Pipelines, Python-funktioner och MCP-protokollet för att ansluta externa verktyg.
- Stöd för flera användare med åtkomstkontroll och kompatibilitet med olika AI-backends.
¿Så här organiserar du konversationer med hjälp av mappar i Open WebUI Om du någonsin har känt att det är lite rudimentärt att interagera med AI-modeller via en terminal, är Open WebUI precis vad du behöver. Det här verktyget förändrar upplevelsen av att använda lokala LLM:er och ger dig en visuellt polerat gränssnitt väldigt likt ChatGPT, men med den oslagbara fördelen att allt sker på din egen hårdvara, utan att din data reser till molnet.
Ollama är inte bara ett vackert ansikte; det är ett komplett ekosystem som låter dig hantera användare, skapa kunskapsbaser och anpassa AI in i minsta detalj. Det är det perfekta alternativet för dig som letar efter absolut integritet och total kontroll över vilken modell de använder och hur de behandlar sin information, vilket eliminerar tokenavgifter eller datasäkerhetsproblem.
Vad exakt är Open WebUI och hur fungerar det?
I huvudsak fungerar OpenWebUI som front-end-lagret som ansluter till en modellkörningsmotor, där Ollama är den vanligaste partnern, även om den är kompatibel med alla API:er som följer OpenAI-standarden. Medan Ollama hanterar det tunga arbetet, som att ladda GGUF-filer till GPU:n eller CPU:n, tar OpenWebUI hand om... användarupplevelseerbjuder chatthistorik, snabb hantering och robust administration av flera användare.
En av dess största styrkor är att den är helt oberoende av backend-systemet. Det betyder att du kan byta från en lokal modell till en molnbaserad modell, eller använda tjänster som vLLM eller LM Studio, utan att ändra ditt gränssnitt. Denna flexibilitet gör att systemet kan skalas från en enkel bärbar dator till en ... Kubernetes-kluster i en affärsmiljö, samtidigt som samma användarvänlighet bibehålls.
Steg-för-steg-installation: Från terminalen till webbläsaren
Det enklaste och mest rekommenderade sättet att konfigurera detta system är att använda Docker. För de som redan har Ollama kört på sitt system, kör helt enkelt ett Docker-kommando som mappar port 3000 till containerns port 8080. Att lägga till flaggan är viktigt. host.docker.internal:host-gateway i Linux-system så att containern kan kommunicera med Ollama-tjänsten som körs på värden.
Om du föredrar något mer strukturerat för en produktionsmiljö eller ett hemlabb är Docker Compose det bästa alternativet. Genom att definiera tjänsterna i en YAML-fil kan du skapa en delat nätverk (som till exempel ai-network) där Open WebUI och Ollama känns igen helt enkelt genom sitt tjänstnamn, vilket avsevärt underlättar systemunderhåll och uppdateringar.
När containern är igång kommer du att bli ombedd att registrera ett konto när du öppnar den lokala adressen. Den första användaren som skapas blir automatiskt administratör. systemadministratörDetta gör att du kan hantera från kontrollpanelen vilka andra som kan registrera sig eller vilka modeller som är tillgängliga för varje användargrupp.
Avancerad organisation med hjälp av mappar och etiketter
När man börjar ha dussintals samtal blir historiken kaotisk. För att åtgärda detta, Öppna webbgränssnittet implementerar ett system av projektbaserade mapparDe är inte enkla chattbehållare; du kan skapa hierarkiska mappar (mappar inom andra mappar) genom att helt enkelt dra och släppa konversationer eller via snabbmenyn.
Det som är riktigt kraftfullt är att varje mapp kan konfigureras som en oberoende arbetsyta. Du kan tilldela en Specifik systemprompt till en mapp, så att alla nya chattar som startas i den automatiskt ärver den personligheten eller uppsättningen instruktioner. Du kan till exempel ha en mapp som heter "Python-programmering" där AI:n alltid fungerar som expert på kodoptimering.
Förutom mappar innehåller systemet etiketter för mer flexibel organisation. Medan mappar är strukturella är etiketter funktionella. Taggar tillåter filtrering Konversationer är organiserade efter ämne oavsett var de lagras, vilket underlättar semantisk sökning av tidigare interaktioner.
RAG och lokal kunskapshantering
Retrieval Augmented Generation (RAG) är det som gör att AI kan undvika att uppfinna saker och istället förlita sig på sina egna filer. I Open WebUI görs detta via kunskapsavsnittet i arbetsytan. Du kan ladda upp PDF-filer, textfiler, Markdown- eller Word-dokument, så tar systemet hand om resten. fragmentera innehållet och generera inbäddningar.
För att detta ska fungera perfekt är det viktigt att välja en bra inbäddningsmodell, till exempel nomic-embed-text. Processen innebär att dessa fragment lagras i en vektordatabas (ChromaDB som standard), så att när du ställer en fråga med nyckeln # följt av samlingsnamnetAI:n hämtar exakt information från dina dokument innan den svarar.
Om du har ett stort antal filer (till exempel tusentals kodfiler) är det lämpligt att inte ladda upp dem alla på en gång om systemet kraschar. I sådana fall, organisera informationen i mindre samlingar Att justera fragmentstorleken och överlappningen i administratörsinställningarna kan bidra till att göra indexeringen smidigare.
Driva AI med pipelines, funktioner och MCP
Det som skiljer Open WebUI från andra gränssnitt är dess utbyggbarhet. Funktioner är Python-skript som finns i gränssnittet och kan fungera som filter (för att rensa känslig data), åtgärder (för att spara sammanfattningar i Notion) eller pipes (för att dirigera frågan till olika modeller beroende på komplexitet).
Å andra sidan är pipelines externa tjänster som låter dig skapa komplexa arbetsflöden. Detta är särskilt användbart för att implementera PII-utkastfilter eller koppla AI till övervakningsverktyg som Langfuse. Det förvandlar i princip din chatt till en programmerbar programvara.
Introduktionen av Model Context Protocol (MCP) har varit revolutionerande. Nu är det möjligt att ansluta den lokala modellen till externa verktyg som Slack, GitHub eller SQL-databaser utan att behöva skriva komplex kod. Modellen avgör när dessa verktyg ska anropas för att hämta uppdaterad data, vilket gör AI mycket mer proaktiv och användbar i utvecklingsmiljöer.
Röststöd och hårdvaruoptimering
Interaktion behöver inte begränsas till text. Systemet integrerar Snabbare viskning för STT (röst-till-text), vilket gör att du kan diktera instruktioner lokalt. För utdata kan du ansluta till OpenAI TTS API eller använda lokala motorer som Coqui-TTS, vilket ger en smidig konversationsupplevelse utan att ljudet nödvändigtvis lämnar ditt nätverk.
När det gäller prestanda ligger nyckeln i GPU-acceleration. De som använder Apple Silicon måste köra Ollama direkt för att dra full nytta av det. MetallEftersom GPU-genomströmning i Docker för Mac fortfarande är begränsad är det viktigt att använda NVIDIA Container Toolkit på Windows och Linux för att säkerställa att modeller inte enbart är CPU-beroende och att hastigheterna för tokengenerering är acceptabla.
För att optimera minnet, särskilt på system med 16 GB RAM, rekommenderas det att använda kvantiserade modeller eller mindre versioner som Llama 3.2 med 3B-parametrar. Om systemet känns långsamt, minska hastigheten. kontextlängd I modellparametrarna är det vanligtvis den snabbaste lösningen för att frigöra VRAM och undvika fel på grund av otillräckligt minne.
Brinner för teknik sedan han var liten. Jag älskar att vara uppdaterad inom branschen och framför allt kommunicera den. Det är därför jag har varit dedikerad till kommunikation på teknik- och videospelswebbplatser i många år nu. Du kan hitta mig som skriver om Android, Windows, MacOS, iOS, Nintendo eller något annat relaterat ämne som du tänker på.