Πώς να συνδέσετε το Open WebUI με το Ollama για να χρησιμοποιήσετε τοπικά μοντέλα χωρίς internet.

¿Πώς να συνδέσω το Open WebUI με το Ollama για να χρησιμοποιήσω τοπικά μοντέλα χωρίς internet; Πιθανότατα έχετε παρατηρήσει ότι εργαλεία όπως το Claude ή το Gemini είναι καταπληκτικά, αλλά υπάρχει ένα μικρό πρόβλημα: όλα όσα γράφετε αποστέλλονται σε απομακρυσμένους διακομιστές. Για όσους χρησιμοποιούν εμπιστευτικά δεδομένα πελατών Για επιχειρηματικές στρατηγικές, το cloud μπορεί να είναι λίγο τρομακτικό. Ευτυχώς, στις μέρες μας δεν χρειάζεται να είστε ιδιοφυΐα υπολογιστών για να δημιουργήσετε τη δική σας τεχνητή νοημοσύνη στο σπίτι, χωρίς να φύγει ούτε ένα byte από τον υπολογιστή σας.

Ο συνδυασμός του Ollama και του Open WebUI είναι, απλά, το ιδανικό ζευγάρι για όσους αναζητούν Πλήρης ιδιωτικότητα και μηδενικό κόστος ανά διακριτικό. Ενώ το ένα χειρίζεται τη βρώμικη δουλειά της εκτέλεσης των μοντέλων, το άλλο προσφέρει μια όμορφη και εύχρηστη εμφάνιση, πολύ παρόμοια με το ChatGPT, επιτρέποντάς σας να διαχειρίζεστε συνομιλίες, να ανεβάζετε έγγραφα, ακόμη και να μιλάτε με την τεχνητή νοημοσύνη χωρίς να χρειάζεται να αγγίξετε ούτε μία γραμμή εντολών μόλις ρυθμιστεί.

Τι ακριβώς εννοούμε; Κατανόηση του Ollama και του Open WebUI

Για να μην υπάρξει σύγχυση με τα ονόματα, ας διευκρινίσουμε ότι Ο Όλλαμα είναι η μηχανήΕίναι το εργαλείο που κατεβάζει αρχεία μοντέλων (όπως τα δημοφιλή αρχεία GGUF) και τα εκτελεί χρησιμοποιώντας τον επεξεργαστή ή την κάρτα γραφικών σας. Είναι η τεχνική βάση που εκθέτει ένα API στη θύρα 11434, ώστε άλλες εφαρμογές να μπορούν να επικοινωνούν με το μοντέλο.

Από την άλλη πλευρά, Το Open WebUI είναι το οπτικό επίπεδοΕίναι ένα frontend ανοιχτού κώδικα, που συνήθως εγκαθίσταται μέσω του Docker, και μετατρέπει αυτό το βαρετό μαύρο τερματικό σε ένα εύχρηστο πάνελ. Χάρη σε αυτό, μπορείτε να έχετε ιστορικό συνομιλιών, οργανώστε τα αγαπημένα σας μηνύματα και διαχειριστείτε πολλούς χρήστες εάν θέλετε να ρυθμίσετε έναν διακομιστή για την ομάδα εργασίας σας.

Υπάρχουν και άλλες εναλλακτικές λύσεις όπως το LM Studio ή το Jan, οι οποίες είναι ιδανικές για γρήγορη, ατομική χρήση. Ωστόσο, το Open WebUI κερδίζει όταν χρειαζόμαστε προηγμένες λειτουργίες όπως το εγγενές RAG, η διαχείριση χρηστών ή η δυνατότητα προσθήκης plugin μέσω Python, καθιστώντας το την πιο ισχυρή επιλογή για επαγγελματικά περιβάλλοντα.

Απαιτήσεις υλικού και προτεινόμενα μοντέλα

Δεν χρειάζεται να ξοδέψετε μια περιουσία σε υλικό, αν και το να έχετε μια καλή GPU βοηθά στην αποτροπή της απόκρισης της τεχνητής νοημοσύνης με ρυθμό σαλιγκαριού. Για ελαφριά μοντέλα με 7 ή 8 δισεκατομμύρια παραμέτρους, με 16 GB μνήμης RAM Συνήθως είναι αρκετό για μια αξιοπρεπή εμπειρία. Αν έχετε Mac με Apple Silicon (M1, M2, M3 ή M4)Είσαι τυχερός, επειδή η ενοποιημένη μνήμη κάνει αυτά τα μοντέλα να πετούν.

Αν μιλάς σοβαρά και θέλεις ιλιγγιώδη ταχύτητα, μια κάρτα NVIDIA με τουλάχιστον 8 GB VRAM (όπως μια RTX 3060 ή 4060) είναι η ασφαλής επιλογή. Για όσους αναζητούν την υψηλότερη ποιότητα, μοντέλα όπως η 70B Llama 3.3 πλησιάζουν πολύ τις δυνατότητες της GPT-4, αν και απαιτούν μηχανήματα με 64 GB μνήμης RAM ή τεράστιες GPU για να αποφύγετε την απογοήτευση από την καθυστέρηση.

Όσο για τα μοντέλα, το Llama 3.2 είναι φανταστικό για την ισορροπία μεταξύ ταχύτητας και ευφυΐας. Αν ψάχνετε για κάτι εξειδικευμένο στον προγραμματισμό, Το DeepSeek είναι ένα στολίδιΕν τω μεταξύ, τα Mistral και Qwen 2.5 προσφέρουν εκπληκτική απόδοση σε πολλές γλώσσες, συμπεριλαμβανομένων των ισπανικών από την Ισπανία, καθιστώντας τα πολύ αποτελεσματικές επιλογές για καθημερινή χρήση.

Οδηγός βήμα προς βήμα για την εγκατάσταση

Ο πιο γρήγορος τρόπος είναι μέσω του Docker. Αρχικά, κατεβάστε και εγκαταστήστε το Ollama από την επίσημη ιστοσελίδα του. Μόλις γίνει αυτό, ανοίξτε το τερματικό σας και εκτελέστε μια εντολή όπως ollama pull llama3.2 για βεβαιωθείτε ότι έχετε ένα μοντέλο Έτοιμο για χρήση. Μην ξεχάσετε να το εκτελέσετε ollama serve έτσι ώστε το API να είναι ενεργό και να ακούει.

Για να ρυθμίσετε τη διεπαφή, εκτελέστε την ακόλουθη εντολή Docker: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:mainΑυτή η εντολή είναι κλειδί επειδή η σημαία host.docker.internal Αυτό επιτρέπει στο web container να βρει τη μηχανή Ollama που εκτελείται στο λειτουργικό σας σύστημα.

Τώρα το μόνο που έχετε να κάνετε είναι να ανοίξετε το πρόγραμμα περιήγησής σας και να μεταβείτε στο http://localhost:3000Ο πρώτος χρήστης που θα εγγραφεί θα γίνει αυτόματα ο διαχειριστής του συστήματος. Από εκεί, μπορείτε να μεταβείτε στις ρυθμίσεις σύνδεσης και να επαληθεύσετε ότι το Ollama είναι συνδεδεμένο. Εάν όλα πήγαν καλά, θα δείτε ότι το ανάπτυξη μοντέλων Εμφανίζεται μαγικά στον επάνω επιλογέα.

Κατακτώντας το RAG: Μιλήστε με τα δικά σας έγγραφα

Ένα από τα πιο ισχυρά χαρακτηριστικά είναι το RAG (Recovery Augmented Generation). Ουσιαστικά, επιτρέπει στην Τεχνητή Νοημοσύνη να... Αναλύστε τα αρχεία PDF, Word ή Markdown χωρίς να τα ανεβάσετε σε κάποια υπηρεσία cloud. Για να το ενεργοποιήσετε, μεταβείτε στο προφίλ σας, εισέλθετε στον Χώρο εργασίας και δημιουργήστε μια συλλογή γνώσεων ανεβάζοντας τα έγγραφά σας.

Μια σημαντική τεχνική λεπτομέρεια είναι ότι θα χρειαστείτε ένα μοντέλο ενσωμάτωσης, όπως π.χ. κείμενο-ενσωμάτωσης-νομικού-κειμένουτο οποίο μπορείτε να κατεβάσετε με ollama pull nomic-embed-textΜόλις ολοκληρωθεί η διαμόρφωση στον πίνακα διαχείρισης, μπορείτε εύκολα να έχετε πρόσβαση στα έγγραφά σας σε οποιαδήποτε συνομιλία. πληκτρολογώντας το πλήκτρο # και επιλέγοντας το αντίστοιχο αρχείο ή συλλογή.

Αν παρατηρήσετε ότι η Τεχνητή Νοημοσύνη μπερδεύεται ή διακόπτει τις απαντήσεις, προσπαθήστε να προσαρμογή μεγέθους θραύσματος (κομμάτια). Εάν χρησιμοποιείτε μικρά μοντέλα με μειωμένα παράθυρα περιβάλλοντος, η μείωση του μεγέθους του κομματιού από 1500 σε 800 διακριτικά συνήθως λύνει το πρόβλημα, αφήνοντας αρκετό χώρο για την τεχνητή νοημοσύνη να επεξεργαστεί την ερώτηση και την απάντηση με βάση το έγγραφο.

Προηγμένες λειτουργίες: Φωνή, αγωγοί και MCP

Το Open WebUI δεν είναι απλώς μια συνομιλία. Είναι μια επεκτάσιμη πλατφόρμα. Μπορείτε να προσθέσετε αναγνώριση φωνής χρησιμοποιώντας Whisper Για να μιλήσετε στην τεχνητή νοημοσύνη, χρησιμοποιήστε την μετατροπή κειμένου σε ομιλία (TTS) για να απαντήσει. Η πιο ρεαλιστική προσέγγιση είναι να χρησιμοποιήσετε το Whisper τοπικά για είσοδο και το OpenAI API για καθαρή, φυσική έξοδο ήχου.

Εάν είστε προγραμματιστής, το Αγωγοί και Λειτουργίες Θα σας επιτρέψουν να κάνετε θαύματα. Μπορείτε να δημιουργήσετε φίλτρα σε Python για να καθαρίσετε ευαίσθητα δεδομένα πριν φτάσουν στο μοντέλο ή να προσθέσετε κουμπιά ενεργειών που εκτελούν συγκεκριμένα σενάρια. Επιπλέον, η υποστήριξη για το Πρωτόκολλο πλαισίου μοντέλου (MCP) Επιτρέπει στην τοπική σας τεχνητή νοημοσύνη να συνδέεται με εξωτερικά εργαλεία όπως το GitHub ή το Slack.

Για όσους θέλουν να το φέρουν αυτό σε ένα ομαδικό περιβάλλον, το ιδανικό είναι να χρησιμοποιήσουν Docker ComposeΑυτό επιτρέπει τη διαχείριση του Ollama και του Open WebUI ως ξεχωριστών υπηρεσιών σε ένα μόνο αρχείο YAML, διευκολύνοντας τη δημιουργία αντιγράφων ασφαλείας των τόμων δεδομένων και επιτρέποντας στο εσωτερικό δίκτυο του Docker να επιλύει ονόματα υπηρεσιών χωρίς επιπλοκές IP.

Η εγκατάσταση αυτού του συστήματος είναι ο καλύτερος τρόπος για να ανακτήσουμε τον έλεγχο των πληροφοριών μας. Συνδυάζοντας τη δύναμη του Ollama με την ευελιξία του Open WebUI, δημιουργούμε ένα επαγγελματικό εργαλείο που δεν εξαρτάται από συνδρομές ή εξωτερικές συνδέσεις, επιτρέποντάς μας να πειραματιστούμε με το Τεχνητή Νοημοσύνη, αιχμή της τεχνολογίας στην απόλυτη ιδιωτικότητα του δικού μας υλικού.