Teljes útmutató az alapértelmezett modell kezeléséhez és módosításához az Open WebUI-ban

¿Hogyan módosíthatom az alapértelmezett modellt az Open WebUI-ban? Ha már kalandoztál a helyi mesterséges intelligencia világában, akkor valószínűleg tudod, hogy a páros Nyílt WebUI és Ollama Ez egyszerűen a nyerő kombináció. Míg Ollama elvégzi a nehéz munkát a modellek hardveren történő futtatásával, az Open WebUI egy a ChatGPT-hez méltó vizuális réteget biztosít, lehetővé téve mindent kezelni anélkül, hogy az adataid elhagynák a hálózatodat. Ez egy hihetetlenül hatékony eszköz, bár a beállítások elsőre kissé zavarosak lehetnek.

Sokan törik a fejüket, próbálják megérteni, hogyan alapértelmezett modell beállítása vagy hogyan alkalmazhatsz paraméterbeállításokat egyszerre több modellre anélkül, hogy manuálisan, egyenként kellene konfigurálnod őket. A valóság az, hogy a rendszer rétegekben működik: vannak az alapmodellek, majd az előre beállított vagy egyéni modellek, amelyek burkolóként működnek. Ebben a cikkben részletesen bemutatjuk, hogyan sajátíthatod el ezt a felületet, hogy ne vesztegesd az idődet, és a mesterséges intelligencia pontosan úgy viselkedjen, ahogyan szeretnéd.

Globális és alapértelmezett paraméterkonfiguráció

Azok számára, akiknek ellentmondásosnak tűnik az egyes modellek egyenkénti módosítása, van egy elegáns megoldás. A rendszergazdák meghatározhatják képességek és alapvető paraméterek amelyek a példány összes modelljét érintik. Ezt úgy teheti meg, hogy az Adminisztrációs Panelre lép, a Beállítások menüpontra, majd a Modellek menüpontra, és a fogaskerék ikonra kattint.

Ebben a menüpontban találjuk a ALAPÉRTELMEZETT_MODELL_METADATOKEz alapvető funkciók, például webes keresés, látás és a teljes rendszer kódértelmezőjének beállítására szolgál. Ha egy adott modell konfigurációja eltérő, akkor az a globális értékkel szemben érvényesül, de ha nincs semmi definiálva, akkor az alapértelmezett értéket veszi fel. Hasonlóképpen, a ALAPÉRTELMEZETT_MODELL_PARAMOK Lehetővé teszi a hőmérséklet, a Top P és a maximális tokenek beállítását, így elkerülhető, hogy minden egyes csevegést a nulláról kelljen konfigurálnod.

Egyéni modellek és ügynökök létrehozása

Az Open WebUI egyik gyöngyszeme a létrehozás lehetősége egyedi modellek a munkaterületen. Nem arról van szó, hogy egy új modellt a nulláról hozzunk létre (ami betanítást igényelne), hanem egy olyan előbeállítás létrehozásáról, amely egy alapmodellre épül. Képzeld el, hogy a Llama 3-at használod, de azt szeretnéd, hogy mindig kódfelülvizsgálati szakértőként működjön, követve a vállalatod szabályait; ahelyett, hogy minden alkalommal megírnád a promptot, létrehozol egy "Kódfelülvizsgáló" modellt a saját utasításaival.

Ezen ügynökök konfigurálásával összekapcsolhatja tudásbázisokspecifikus eszközök és rendszerpromptok. Akár dinamikus változókat is használhat, például {{ USER_NAME }} o {{ CURRENT_DATE }} így a mesterséges intelligencia tudja, kivel beszél, és milyen nap van. Az eredmény egy specializált ügynök, amelyet megoszthat csapatával, vagy privátként is kezelhet, ami jelentősen leegyszerűsíti a végfelhasználói élményt.

Láthatóság és hozzáférés-kezelés modellekhez

Van egy kulcsfontosságú technikai részlet, ami gyakran hibákat okoz: ahhoz, hogy egy egyéni modell működjön, a felhasználónak rendelkeznie kell a következőkkel: hozzáférés az alapmodellhezHa GPT-4o alapú ügynököt hozol létre, de korlátozod a hozzáférést az eredeti modellhez, a rendszer „A modell nem található” hibát jelez. A legokosabb megoldás az, ha az alapmodellt nyilvánosan hagyod, de rejtsd el a választóban a menüben található három pont segítségével.

Így a felhasználók csak az Ön által létrehozott optimalizált, felhasználóbarát modellt látják a legördülő listájukban, miközben az alapmodell továbbra is működik a háttérben. Ha szüksége van arra, hogy néhány haladó felhasználó lássa a nyers modellt, az egyetlen alternatíva, hogy ugyanazt az LLM-et adja hozzá egy második kapcsolat független hozzáférés-vezérléssel.

A helyi tudás és a helyi ismeretek integrációja

Nyílt webes felhasználói felület Nem csak egy szép arc, hanem egy rendszer is része a következőknek: Natív RAG (helyreállítási kiterjesztett generáció)Ez azt jelenti, hogy feltöltheted saját PDF-jeidet, szövegfájljaidat vagy Word-dokumentumaidat a Munkaterület Tudás részébe. A rendszer lebontja az információkat és tárolja azokat a ChromaDB-ben, lehetővé téve a mesterséges intelligencia számára, hogy a válaszadás előtt konzultáljon a dokumentumaiddal.

Ahhoz, hogy ez működjön, elengedhetetlen a konfigurálás beágyazási modellA nomic-embed-text az egyik leginkább ajánlott beállítás. Az AI túlterhelésének elkerülésére egy trükk a töredék méretének módosítása; ha kis modelleket használsz csökkentett kontextuális ablakokkal, akkor tanácsos a töredék méretét körülbelül 800 tokenre csökkenteni. hagyj teret a kérdésnek a felhasználótól.

A rendszer bővítése csővezetékekkel és MCP-vel

Ha a következő szintre szeretnéd emelni az eszközt, érdemes megnézned a következőt: Csővezetékek és függvényekA függvények lehetővé teszik a Python kód közvetlen futtatását a felületen, legyen szó üzenetek szűréséről (például e-mailek törlésével adatvédelmi okokból), vagy olyan műveletek létrehozásáról, amelyek adatokat mentenek a Notionba. A pipelinek ezzel szemben külső szolgáltatások, amelyek összetett modellek vagy szűrők routerjeként működhetnek.

Továbbá a legújabb verziók támogatják a Modellkontextus protokoll (MCP)Ez lehetővé teszi a helyi modelled számára, hogy külső eszközökhöz, például a GitHubhoz vagy a Slackhez csatlakozzon anélkül, hogy a nulláról kellene programozni egy folyamatot. Lényegében ez a legtisztább módja annak, hogy a mesterséges intelligenciádat felszereld a következőkkel: tényleges működési képességek a napi munkafolyamatodban.

Gyakori csatlakozási problémák elhárítása

Nagyon gyakori, hogy a modellek menüje üresen jelenik meg a telepítés után. Ez általában azért történik, mert a Docker konténer nem tud kommunikálni az Ollama szerverrel. Linux rendszereken elengedhetetlen a jelző hozzáadása. –add-host=host.docker.internal:host-gateway a konténer végrehajtása során, és győződjön meg arról, hogy Ollama URL-je a http://host.docker.internal:11434 címre mutat.

Egy másik gyakori probléma, hogy az Ollama csak a 127.0.0.1 címhez kapcsolódik. Ennek javításához konfigurálni kell a környezeti változót. OLLAMA_HOST=0.0.0.0:11434 a géped systemd szolgáltatásában. Ha ez megoldódott, a modellek letöltődnek a következőn keresztül: ollama pull Azonnal megjelennek a webes felületen anélkül, hogy újra kellene indítani a szervert.

A munkaterületen az előbeállítások létrehozásának elsajátításával és az adminisztrációs panel globális paramétereinek módosításával az Open WebUI-t egy egyszerű csevegésből produktív ügynökök ökoszisztémává alakíthatja. A kulcs az egyéni modellek rugalmasságának és az Ollama integráció erejének kihasználásában rejlik, hogy megőrizze az adatvédelmet és a helyszíni mesterséges intelligencia feletti teljes kontrollt.