- Ollama als Inferenzmaschine konfigurieren und Open WebUI mittels Docker oder manueller Installation bereitstellen.
- Methoden zum Herunterladen offizieller Vorlagen und zum Integrieren benutzerdefinierter GGUF-Dateien zur Erweiterung der Chat-Funktionen.
- Mithilfe von Tools wie llama-swap kann innerhalb derselben Sitzung dynamisch zwischen verschiedenen KI-Modellen gewechselt werden.
¿Wie kann ich mehrere KI-Modelle zu Open WebUI hinzufügen und zwischen ihnen wechseln? Wer sich mit lokaler künstlicher Intelligenz beschäftigt hat, kennt wahrscheinlich Open WebUI. Es ist ein wirklich fantastisches Tool, das eine optisch ansprechende und funktionale Schnittstelle zur Interaktion mit verschiedenen Sprachmodellen bietet, ohne dass man sich ständig mit dem Terminal herumschlagen muss. Und das Beste daran: die Vielseitigkeit dieses Systems Es ermöglicht die Verbindung verschiedener KI-Engines und erleichtert so den Wechsel zwischen verschiedenen Modellen je nach Aufgabe.
Die Einrichtung mag anfangs kompliziert erscheinen, aber sobald man die Kommunikation zwischen Backend und Frontend verstanden hat, ist es kinderleicht. Egal, ob Sie alles auf einem Ubuntu-Server betreiben, Docker-Container verwenden möchten, um Ihr System sauber zu halten, oder Modellmanagement optimieren Mit externen Tools wie llama-swap gibt es klare Wege zur Schaffung eines leistungsstarken und flexiblen Arbeitsumfelds.
Motormontage: Ollama-Installation
Bevor wir eine ansprechende Benutzeroberfläche haben, benötigen wir die zugrundeliegende Technologie, und genau hier kommt Ollama ins Spiel. Für Nutzer von Debian- oder Ubuntu-basierten Distributionen ist der Vorgang recht einfach. Wenn Sie eine Nvidia-Grafikkarte besitzen, ist der erste und wichtigste Schritt folgender: sicherstellen, dass die CUDA-Controller Sie müssen ordnungsgemäß installiert werden, da die Leistung ohne sie beklagenswert wäre.
Sobald die Hardware bereit ist, können Sie Ollama installieren, indem Sie die Binärdatei herunterladen und einen Systemdienst erstellen, der automatisch ausgeführt wird. Wichtig ist hierbei die Netzwerkkonfiguration: Standardmäßig lauscht die Ollama-API nur auf Port 11434 des lokalen Hosts. Stellen Sie eine Verbindung zur Open WebUI von einem anderen Server her.Sie müssen die Listening-Adresse in der Service-Datei auf 0.0.0.0 ändern und den entsprechenden Port in der Firewall öffnen, um eine ungehinderte Kommunikation zu ermöglichen.
Bereitstellung der Open WebUI-Schnittstelle
Es gibt zwei Hauptmethoden zur Installation der Benutzeroberfläche. Die schnellste und einfachste Methode ist die Verwendung von Docker. Mit einem einfachen Befehl lässt sich das offizielle Image starten und je nach Wunsch Port 8080 oder 3000 zuweisen. Dies ist unerlässlich. Verwenden Sie den Parameter „–add-host“. damit der Container mit der Ollama-API kommunizieren kann, wenn er sich auf dem Host-Rechner befindet.
Für Puristen, die eine manuelle Installation bevorzugen, umfasst der Prozess das Klonen des Repositorys, die Installation der Python- und Node.js-Abhängigkeiten (npm) und die Konfiguration der Umgebungsvariablen. In diesem Fall ist es unerlässlich. Überprüfen Sie die Ollama-API-Adresse in der .env-Datei, damit die Website genau weiß, wo sie nach den Modellen suchen muss. Unabhängig von der Methode gilt: Wenn Sie eine aktive Firewall wie UFW verwenden, müssen Sie TCP-Ports aktivieren notwendig, um nicht von der eigenen Einrichtung ausgeschlossen zu werden.
Verwaltung und Hinzufügung mehrerer KI-Modelle
Sobald Sie sich in der Benutzeroberfläche befinden, erstellen Sie als Erstes ein Administratorkonto. Im Einstellungsmenü, im Bereich „Modelle“, können Sie offizielle Modelle (wie Llama 2 oder Llama 3) herunterladen, indem Sie einfach deren Namen eingeben und auf die Schaltfläche „Herunterladen“ klicken. Wenn Sie möchten Erweitern Sie den Katalog um kundenspezifische ModelleDies können Sie tun, indem Sie .gguf-Dateien über den Pfad zur Modellerstellung im Web hochladen oder indem Sie Terminalbefehle auf dem Ollama-Server verwenden.
Für alle, die noch fortschrittlichere Managementfunktionen suchen, ist Lama-Tausch eine hervorragende Option. Dieses Tool ermöglicht Erweitere den Endpunkt /v1/modelsDadurch kann Open WebUI automatisch eine Liste von Modellen mit ihren Beschreibungen erkennen. Dies vereinfacht die Bedienung erheblich, da es Folgendes ermöglicht: Die Antwort in einem Chat ändern Die Konversation kann mit einem anderen Modell neu generiert werden (z. B. durch Wechsel von einem Generalistenmodell zu einem auf Code spezialisierten Modell wie qwen3 coder), ohne dass die Konversation neu gestartet werden muss.
Fortgeschrittene Tricks und Fehlerbehebung
Im Geschäftsumfeld ist es üblich, Retrieval Augmented Generation (RAG) einzusetzen, damit KI interne Dokumente in den Formaten PDF, Word oder Excel verstehen kann. die Qualität des Dateilesens Dies kann variieren, und manchmal erfindet KI Daten, wenn das Dokumentformat komplex ist. Um dem bei Implementierungen mit Hunderten von Nutzern zu begegnen, ist es ideal, das Wissen nach Abteilungen zu segmentieren und Dokumentenaufnahme optimieren um Halluzinationen zu vermeiden.
Um während einer Sitzung zwischen mehreren Modellen zu wechseln, bietet Open WebUI oben im Chat eine Auswahlmöglichkeit. Wenn Sie mehrere Optionen hinzugefügt haben, können Sie das „+“-Zeichen verwenden, um … Vergleiche die Antworten in EchtzeitDies ist besonders nützlich, um zu überprüfen, welches der installierten Modelle die genaueste Antwort für eine bestimmte Aufgabe liefert, und ermöglicht so eine nahtloser Übergang zwischen verschiedenen LLMs entsprechend den Erfordernissen des Augenblicks.
Ein Ökosystem zu schaffen, in dem Ollama das Computing verwaltet und WebUI öffnen Die Interaktion ermöglicht uns die volle Kontrolle über unsere Daten und die eingesetzte KI. Von der einfachen Installation unter Ubuntu und dem Öffnen von Ports in der Firewall über das Herunterladen benutzerdefinierter Modelle und die Integration von Tools wie llama-swap für den dynamischen Modellwechsel bis hin zur Implementierung von Wissensdatenbanken für Unternehmen – das System ist robust und hochgradig skalierbar und eignet sich für jeden Technikbegeisterten und Profi.
Seit seiner Kindheit begeistert er sich für Technik. Ich liebe es, in der Branche auf dem neuesten Stand zu sein und es vor allem zu kommunizieren. Deshalb widme ich mich seit vielen Jahren der Kommunikation auf Technologie- und Videospiel-Websites. Ich schreibe über Android, Windows, MacOS, iOS, Nintendo oder jedes andere verwandte Thema, das mir in den Sinn kommt.