- Implementácia lokálnych RAG systémov na interakciu so súkromnými dokumentmi bez odosielania údajov do cloudu.
- Flexibilná konfigurácia jazykových modelov a vnorení prostredníctvom integrácie Ollama.
- Pokročilá správa znalostí prostredníctvom nezávislých pracovných priestorov s riadením oprávnení pre viacerých používateľov.
AnythingLLM a Ollama vám umožňujú vytvoriť si asistenta, ktorý prehliada vaše vlastné dokumenty. pomocou modelov spustených na počítači alebo serveri. Ollama sa stará o načítanie jazykového modelu, zatiaľ čo AnythingLLM poskytuje rozhranie, organizuje súbory a načítava relevantné informácie pomocou RAG.
Keď sú všetky komponenty nakonfigurované lokálne, dokumenty a dotazy nie je potrebné odosielať poskytovateľovi cloudového modelu. Táto ochrana súkromia však Záleží aj na tom, či neaktivujete vyhľadávanie na webe, externé API alebo iné nástroje ktoré prenášajú informácie mimo tímu.
Čo potrebujete pred prepojením AnythingLLM s Ollama

Musíte mať nainštalovanú a spustenú Ollamu, ako aj AnythingLLM Desktop alebo inštanciu nasadenú cez Docker. Desktop je jednoduchší pre jedného používateľa, zatiaľ čo Docker umožňuje prístup z prehliadača a zdieľajte inštaláciu.
Požadované zdroje závisia od zvoleného modelu, jeho kvantizácie a dĺžky kontextu. Malý model môže bežať výlučne na CPU, hoci bude pomalší. Modely so 7.000 alebo 8.000 miliardami parametrov zvyčajne vyžadujú viac pamäte a ponúkajú lepší zážitok, keď Ollama dokáže využiť kompatibilný GPU.
Nie je vhodné nastaviť minimálnu požiadavku na RAM, ktorá platí pre všetky prípady. Pred stiahnutím veľkého modelu skontrolujte jeho veľkosť a uistite sa, že máte dostatok pamäte pre operačný systém, AnythingLLM a vektorovú databázu.
Stiahnite si šablónu chatu a šablónu na vloženie
Ollama potrebuje model na generovanie odpovedí A ak ho chcete použiť aj ako poskytovateľa vkladania, ďalší model sa špecializuje na transformáciu dokumentov do vektorov.
Dve vzorové šablóny si môžete stiahnuť pomocou:
ollama pull llama3.1:8b
ollama pull nomic-embed-text
Prvý model sa používa na konverzáciu a písanie odpovedí. nomic-embed-text Generuje iba vložené súbory a nemožno ho použiť ako šablónu chatu. Dostupné šablóny si môžete pozrieť pomocou:
ollama list
Tieto názvy sú príklady, nie požiadavky. Môžete Ak má tím obmedzené zdroje, vyberte menšiu šablónu chatuV prípade dokumentov, ktoré sú prevažne v španielčine, by vás mohla zaujímať aj viacjazyčná šablóna na vkladanie dostupná v knižnici Ollama, ako napríklad bge-m3.
Pred indexovaním veľkej knižnice je potrebné vybrať model vkladania. Ak ho neskôr zmeníte, budete musieť dokumenty znova spracovať, aby ste vygenerovali kompatibilné vektory.
Ako prepojiť AnythingLLM Desktop s Ollamou
Otvorte nastavenia AnythingLLM a ako poskytovateľa jazykového modelu vyberte Ollama.Ak obe aplikácie bežia na tom istom počítači, zvyčajne by ste použili túto adresu:
http://127.0.0.1:11434
AnythingLLM by mal zobraziť stiahnuté šablóny. Vyberte si tú, ktorú použijete pre chat, a pred pridaním dokumentov ju otestujte.
Ďalej otvorte nastavenia poskytovateľa vkladania. Môžete Vyberte vstavaný model AnythingLLM alebo vyberte Ollama a použite model vstavania predtým stiahnuté. LanceDB je možné uchovávať ako lokálnu vektorovú databázu, ak nepotrebujete iný systém.
Nenastavujte okno so zvýšenými kontextovými právami len preto, že ho model podporuje. Zvýšenie kontextu zvyšuje spotrebu pamäte a môže spomaliť odozvy. Začnite s konfiguráciou detekovanou systémom Ollama a upravte ju iba v prípade, že si to vaša situácia vyžaduje.
Ako prepojiť AnythingLLM v Dockeri s Ollamou

Keď je AnythingLLM spustený vo vnútri kontajnera, localhost Odkazuje na samotný kontajner, nie na hostiteľský počítač. V Docker Desktop pre Windows alebo macOS môžete použiť:
http://host.docker.internal:11434
V systéme Linux nemusí byť tento názov automaticky dostupný. Mapovanie môžete pridať pri spustení kontajnera alebo ho zahrnúť do Docker Compose:
extra_hosts:
- "host.docker.internal:host-gateway"
Môže to byť tiež potrebné Nakonfigurujte Ollamu na počúvanie na adrese prístupnej zo siete DockerNevystavujte port 11434 priamo internetu, pretože lokálne API rozhranie Ollama nie je určené na publikovanie bez dodatočnej vrstvy ochrany.
Ak Ollama a AnythingLLM bežia ako služby z toho istého súboru Docker Compose, je čistejšie ich začleniť do spoločnej súkromnej siete a použiť názov služby, napríklad:
http://ollama:11434
Po uložení adresy overte, či AnythingLLM dokáže zobraziť nainštalované modely, a až potom pokračujte.
Pridanie dokumentov a konfigurácia RAG
Vytvorte pracovný priestor a nahrajte dokumenty, ktoré chcete zobraziť. Ak ich chcete sprístupniť prostredníctvom RAG, musíte ich pridať do pracovného priestoru a začať ich spracovávať. AnythingLLM rozdelí text na fragmenty, vygeneruje vložené prvky a uloží ich do vektorovej databázy.
Keď položíte otázku, systém načíta niektoré súvisiace fragmenty a začlení ich do kontextu odoslaného do modelu. To znižuje množstvo spracovaného textu, ale znamená to, že model Nečíta automaticky všetky dokumenty v každej konzultácii.
Ak odpoveď neobsahuje relevantné informácie, skontrolujte maximálny počet načítaných fragmentov a prah podobnosti. Veľmi obmedzujúci prah môže zahodiť fragment obsahujúci odpoveď. Dokumentácia odporúča dočasne vyskúšať neobmedzenú možnosť, keď RAG nenájde informácie, ktoré sa v súboroch nachádzajú.
Zobrazené odkazy v AnythingLLM pomáhajú identifikovať použitý dokument, ale nezaručujú, že odpoveď je správna alebo že je vždy uvedené presné číslo strany. Pred použitím výsledku pri dôležitých rozhodnutiach je vhodné overiť zdroj.
Rieši najčastejšie problémy
Ak AnythingLLM nezistí Ollamu, najprv skontrolujte, či je služba spustená a či je nakonfigurovaná adresa prístupná z rovnakého prostredia, kde je spustený AnythingLLM. Lokálne API môžete overiť aj pomocou:
curl http://localhost:11434/api/tags
Ak sa model zobrazuje v Ollame, ale nie v AnythingLLM, obnovte zoznam modelov a skontrolujte, či ste vybrali správneho poskytovateľa. V Dockeri problém zvyčajne súvisí s... zneužitie localhost alebo s konfiguráciou siete, ktorá bráni dosiahnutiu hostiteľa.
Ak sú odpovede nepresné, skontrolujte model vkladania, jazyk dokumentu, veľkosť fragmentu a prah podobnosti. Väčší model chatu neopraví slabé vyhľadávanie, ak sa príslušné fragmenty nedostanú do kontextu.
Používanie Ollamy síce eliminuje náklady na dotazovanie externého API, ale stále zahŕňa spotrebu elektriny, úložný priestor a údržbu zariadení. Hlavnou výhodou tejto kombinácie je možnosť kontrolovať, kde sa dokumenty spracovávajú, a prispôsobiť model dostupným zdrojom.
Index