Teljes körű útmutató az AnythingLLM és Ollama összekapcsolásához

Az AnythingLLM és az Ollama lehetővé teszi egy asszisztens létrehozását, amely a saját dokumentumait konzultálja. a számítógépen vagy szerveren futó modellek használatával. Ollama kezeli a nyelvi modell betöltését, míg az AnythingLLM biztosítja a felületet, rendszerezi a fájlokat, és RAG segítségével kéri le a releváns információkat.

Amikor minden komponens helyben van konfigurálva, a dokumentumokat és a lekérdezéseket nem kell felhőmodell-szolgáltatónak küldeni. Ez az adatvédelem azonban Attól is függ, hogy nem aktiválsz webes kereséseket, külső API-kat vagy más eszközöket. amelyek a csapaton kívülre továbbítják az információkat.

Amire szükséged van az AnythingLLM és az Ollama összekapcsolása előtt

Telepített és futtatott Ollama alkalmazásra, valamint AnythingLLM Desktopra vagy egy Docker által telepített példányra van szükség. Az asztali verzió egyszerűbb egyetlen felhasználó számára, míg A Docker böngészőből is lehetővé teszi a hozzáférést és ossza meg a telepítést.

A szükséges erőforrások a választott modelltől, annak kvantálásától és a kontextus hosszától függenek. Egy kisebb modell futtatható kizárólag a CPU-n, bár lassabb lesz. A 7.000 vagy 8.000 milliárd paraméterrel rendelkező modellek általában több memóriát igényelnek, és jobb élményt nyújtanak, ha az Ollama kompatibilis GPU-t tud használni.

Nem tanácsos olyan minimális RAM-követelményt beállítani, amely minden esetre vonatkozik. Nagy modell letöltése előtt ellenőrizze a méretét, és győződjön meg arról, hogy elegendő memóriával rendelkezik az operációs rendszer, az AnythingLLM és a vektoros adatbázis számára.

Töltsön le egy csevegési sablont és egy beágyazási sablont

Ollamának modellre van szüksége a válaszok generálásához És ha beágyazási szolgáltatóként is szeretnéd használni, egy másik modell a dokumentumok vektorokká alakítására specializálódott.

Két minta sablont tölthet le a következő módon:

ollama pull llama3.1:8b
ollama pull nomic-embed-text

Az első modellt beszélgetésre és válaszok írására használják. nomic-embed-text Csak beágyazásokat generál, és nem használható chat sablonként. Az elérhető sablonokat a következőképpen ellenőrizheti:

ollama list

Ezek a nevek példák, nem követelmények. Válassz egy kisebb chat sablont, ha a csapat erőforrásai korlátozottakA többnyire spanyol nyelvű dokumentumok esetében érdekelheti az Ollama könyvtárban elérhető többnyelvű beágyazási sablon is, például bge-m3.

A beágyazási modellt egy nagy könyvtár indexelése előtt ki kell választani. Ha később módosítja, újra kell feldolgoznia a dokumentumokat a kompatibilis vektorok generálása érdekében.

Hogyan lehet az AnythingLLM Desktop-ot összekapcsolni az Ollama-val

Nyisd meg az AnythingLLM beállításait, és válaszd az Ollama lehetőséget nyelvi modell szolgáltatóként.Ha mindkét alkalmazás ugyanazon a számítógépen fut, akkor általában ezt a címet kell használnia:

http://127.0.0.1:11434

Az AnythingLLM-nek meg kell jelenítenie a letöltött sablonokat. Válaszd ki azt, amelyet a csevegéshez fogsz használni, és teszteld le a dokumentumok hozzáadása előtt.

Ezután nyissa meg a beágyazási szolgáltató beállításait. Válaszd az AnythingLLM beágyazott modellt, vagy válaszd az Ollama modellt, és használd a beágyazási modellt. korábban letöltött. A LanceDB helyi vektoradatbázisként is tárolható, ha nincs szükség másik rendszerre.

Ne állíts be emelt szintű kontextuális ablakot csak azért, mert a modell támogatja. A kontextus növelése növeli a memóriafogyasztást és lelassíthatja a válaszokat. Kezdd az Ollama által észlelt konfigurációval, és csak akkor módosítsd, ha a helyzeted megkívánja.

Hogyan lehet AnythingLLM-et Dockerben összekapcsolni Ollama-val

Amikor az AnythingLLM egy konténeren belül fut, localhost Magára a konténerre mutat, nem a gazdagépre. A Docker Desktopban Windows vagy macOS rendszeren a következőket használhatja:

http://host.docker.internal:11434

Linuxon ez a név nem feltétlenül érhető el automatikusan. Hozzáadhat egy leképezést a konténer indításakor, vagy belefoglalhatja a Docker Compose-ba:

extra_hosts:
  - "host.docker.internal:host-gateway"

Szükség is lehet rá Ollama konfigurálása a Docker hálózatról elérhető cím figyeléséreNe tegye elérhetővé a 11434-es portot közvetlenül az internet felé, mivel az Ollama helyi API-ját nem szabad további védelmi réteg nélkül közzétenni.

Ha az Ollama és az AnythingLLM ugyanazon Docker Compose fájl szolgáltatásaiként futnak, akkor egyszerűbb egy közös privát hálózatba integrálni őket, és a szolgáltatás nevét használni, például:

http://ollama:11434

A cím mentése után a folytatás előtt ellenőrizze, hogy az AnythingLLM meg tudja-e jeleníteni a telepített modelleket.

Dokumentumok hozzáadása és az RAG konfigurálása

Hozz létre egy munkaterületet, és töltsd fel a megtekinteni kívánt dokumentumokat. Ahhoz, hogy elérhetővé tedd őket az RAG-on keresztül, hozzá kell adnod őket a munkaterülethez, és el kell kezdened a feldolgozásukat. Az AnythingLLM felosztja a szöveget töredékekre, létrehozza a beágyazásokat, és tárolja azokat a vektoros adatbázisban.

Amikor felteszel egy kérdést, a rendszer lekér néhány kapcsolódó részletet, és beépíti azokat a modellnek küldött kontextusba. Ez csökkenti a feldolgozott szöveg mennyiségét, de azt jelenti, hogy a modell... Nem olvassa be automatikusan az összes dokumentumot minden konzultáción.

Ha egy válasz releváns információkat hagy ki, tekintse át a lekérhető töredékek maximális számát és a hasonlósági küszöbértéket. Egy nagyon korlátozó küszöbérték elvetheti a választ tartalmazó töredéket. A dokumentáció azt javasolja, hogy ideiglenesen próbálja meg a korlátozás nélküli opciót, amikor az RAG nem találja a fájlokban található információkat.

Az AnythingLLM által megjelenített hivatkozások segítenek azonosítani a használt dokumentumot, de nem garantálják, hogy a válasz helyes, vagy hogy a pontos oldalszám mindig fel van tüntetve. Célszerű ellenőrizni a forrást, mielőtt az eredményt fontos döntésekben felhasználnánk.

Megoldja a leggyakoribb problémákat

Ha az AnythingLLM nem érzékeli az Ollamát, először ellenőrizze, hogy a szolgáltatás fut-e, és hogy a konfigurált cím elérhető-e ugyanabból a környezetből, ahol az AnythingLLM fut. A helyi API-t a következőképpen is ellenőrizheti:

curl http://localhost:11434/api/tags

Ha a modell megjelenik az Ollama-ban, de nem az AnythingLLM-ben, frissítse a modelllistát, és ellenőrizze, hogy a megfelelő szolgáltatót választotta-e ki. A Dockerben a probléma általában a következővel kapcsolatos: visszaélés localhost vagy olyan hálózati konfigurációval, amely megakadályozza a gazdagép elérését.

Ha a válaszok pontatlanok, ellenőrizze a beágyazási modellt, a dokumentum nyelvét, a töredék méretét és a hasonlósági küszöböt. Egy nagyobb chat modell nem fogja megoldani a gyenge lekérést, ha a megfelelő töredékek nem érik el a kontextust.

Az Ollama használata elkerüli a külső API lekérdezésének költségeit, de továbbra is áramfogyasztással, tárhely-igényléssel és berendezéskarbantartással jár. Ennek a kombinációnak a fő előnye, hogy szabályozható a dokumentumok feldolgozási helye, és a modell a rendelkezésre álló erőforrásokhoz igazítható.