Kompletný sprievodca prepojením AnythingLLM s Ollama

Posledná aktualizácia: 20/07/2026

  • Implementácia lokálnych RAG systémov na interakciu so súkromnými dokumentmi bez odosielania údajov do cloudu.
  • Flexibilná konfigurácia jazykových modelov a vnorení prostredníctvom integrácie Ollama.
  • Pokročilá správa znalostí prostredníctvom nezávislých pracovných priestorov s riadením oprávnení pre viacerých používateľov.
Prepojte AnythingLLM s Ollamou

AnythingLLM a Ollama vám umožňujú vytvoriť si asistenta, ktorý prehliada vaše vlastné dokumenty. pomocou modelov spustených na počítači alebo serveri. Ollama sa stará o načítanie jazykového modelu, zatiaľ čo AnythingLLM poskytuje rozhranie, organizuje súbory a načítava relevantné informácie pomocou RAG.

Keď sú všetky komponenty nakonfigurované lokálne, dokumenty a dotazy nie je potrebné odosielať poskytovateľovi cloudového modelu. Táto ochrana súkromia však Záleží aj na tom, či neaktivujete vyhľadávanie na webe, externé API alebo iné nástroje ktoré prenášajú informácie mimo tímu.

Čo potrebujete pred prepojením AnythingLLM s Ollama

Čo potrebujete pred prepojením AnythingLLM s Ollama

Musíte mať nainštalovanú a spustenú Ollamu, ako aj AnythingLLM Desktop alebo inštanciu nasadenú cez Docker. Desktop je jednoduchší pre jedného používateľa, zatiaľ čo Docker umožňuje prístup z prehliadača a zdieľajte inštaláciu.

Požadované zdroje závisia od zvoleného modelu, jeho kvantizácie a dĺžky kontextu. Malý model môže bežať výlučne na CPU, hoci bude pomalší. Modely so 7.000 alebo 8.000 miliardami parametrov zvyčajne vyžadujú viac pamäte a ponúkajú lepší zážitok, keď Ollama dokáže využiť kompatibilný GPU.

Nie je vhodné nastaviť minimálnu požiadavku na RAM, ktorá platí pre všetky prípady. Pred stiahnutím veľkého modelu skontrolujte jeho veľkosť a uistite sa, že máte dostatok pamäte pre operačný systém, AnythingLLM a vektorovú databázu.

Stiahnite si šablónu chatu a šablónu na vloženie

Ollama potrebuje model na generovanie odpovedí A ak ho chcete použiť aj ako poskytovateľa vkladania, ďalší model sa špecializuje na transformáciu dokumentov do vektorov.

Exkluzívny obsah – kliknite sem  Alternatívy k prehliadaču Chrome, keď váš systém prestane byť podporovaný

Dve vzorové šablóny si môžete stiahnuť pomocou:

ollama pull llama3.1:8b
ollama pull nomic-embed-text

Prvý model sa používa na konverzáciu a písanie odpovedí. nomic-embed-text Generuje iba vložené súbory a nemožno ho použiť ako šablónu chatu. Dostupné šablóny si môžete pozrieť pomocou:

ollama list

Tieto názvy sú príklady, nie požiadavky. Môžete Ak má tím obmedzené zdroje, vyberte menšiu šablónu chatuV prípade dokumentov, ktoré sú prevažne v španielčine, by vás mohla zaujímať aj viacjazyčná šablóna na vkladanie dostupná v knižnici Ollama, ako napríklad bge-m3.

Pred indexovaním veľkej knižnice je potrebné vybrať model vkladania. Ak ho neskôr zmeníte, budete musieť dokumenty znova spracovať, aby ste vygenerovali kompatibilné vektory.

Ako prepojiť AnythingLLM Desktop s Ollamou

Otvorte nastavenia AnythingLLM a ako poskytovateľa jazykového modelu vyberte Ollama.Ak obe aplikácie bežia na tom istom počítači, zvyčajne by ste použili túto adresu:

http://127.0.0.1:11434

AnythingLLM by mal zobraziť stiahnuté šablóny. Vyberte si tú, ktorú použijete pre chat, a pred pridaním dokumentov ju otestujte.

Ďalej otvorte nastavenia poskytovateľa vkladania. Môžete Vyberte vstavaný model AnythingLLM alebo vyberte Ollama a použite model vstavania predtým stiahnuté. LanceDB je možné uchovávať ako lokálnu vektorovú databázu, ak nepotrebujete iný systém.

Nenastavujte okno so zvýšenými kontextovými právami len preto, že ho model podporuje. Zvýšenie kontextu zvyšuje spotrebu pamäte a môže spomaliť odozvy. Začnite s konfiguráciou detekovanou systémom Ollama a upravte ju iba v prípade, že si to vaša situácia vyžaduje.

Ako prepojiť AnythingLLM v Dockeri s Ollamou

Nainštalujte si AnythingLLM pomocou Dockeru

Keď je AnythingLLM spustený vo vnútri kontajnera, localhost Odkazuje na samotný kontajner, nie na hostiteľský počítač. V Docker Desktop pre Windows alebo macOS môžete použiť:

http://host.docker.internal:11434

V systéme Linux nemusí byť tento názov automaticky dostupný. Mapovanie môžete pridať pri spustení kontajnera alebo ho zahrnúť do Docker Compose:

extra_hosts:
  - "host.docker.internal:host-gateway"

Môže to byť tiež potrebné Nakonfigurujte Ollamu na počúvanie na adrese prístupnej zo siete DockerNevystavujte port 11434 priamo internetu, pretože lokálne API rozhranie Ollama nie je určené na publikovanie bez dodatočnej vrstvy ochrany.

Exkluzívny obsah – kliknite sem  Ako otvoriť súbor PMS

Ak Ollama a AnythingLLM bežia ako služby z toho istého súboru Docker Compose, je čistejšie ich začleniť do spoločnej súkromnej siete a použiť názov služby, napríklad:

http://ollama:11434

Po uložení adresy overte, či AnythingLLM dokáže zobraziť nainštalované modely, a až potom pokračujte.

Pridanie dokumentov a konfigurácia RAG

Vytvorte pracovný priestor a nahrajte dokumenty, ktoré chcete zobraziť. Ak ich chcete sprístupniť prostredníctvom RAG, musíte ich pridať do pracovného priestoru a začať ich spracovávať. AnythingLLM rozdelí text na fragmenty, vygeneruje vložené prvky a uloží ich do vektorovej databázy.

Keď položíte otázku, systém načíta niektoré súvisiace fragmenty a začlení ich do kontextu odoslaného do modelu. To znižuje množstvo spracovaného textu, ale znamená to, že model Nečíta automaticky všetky dokumenty v každej konzultácii.

Ak odpoveď neobsahuje relevantné informácie, skontrolujte maximálny počet načítaných fragmentov a prah podobnosti. Veľmi obmedzujúci prah môže zahodiť fragment obsahujúci odpoveď. Dokumentácia odporúča dočasne vyskúšať neobmedzenú možnosť, keď RAG nenájde informácie, ktoré sa v súboroch nachádzajú.

Exkluzívny obsah – kliknite sem  Ako pridať sekundy k hodinám Windows 11

Zobrazené odkazy v AnythingLLM pomáhajú identifikovať použitý dokument, ale nezaručujú, že odpoveď je správna alebo že je vždy uvedené presné číslo strany. Pred použitím výsledku pri dôležitých rozhodnutiach je vhodné overiť zdroj.

Rieši najčastejšie problémy

Ak AnythingLLM nezistí Ollamu, najprv skontrolujte, či je služba spustená a či je nakonfigurovaná adresa prístupná z rovnakého prostredia, kde je spustený AnythingLLM. Lokálne API môžete overiť aj pomocou:

curl http://localhost:11434/api/tags

Ak sa model zobrazuje v Ollame, ale nie v AnythingLLM, obnovte zoznam modelov a skontrolujte, či ste vybrali správneho poskytovateľa. V Dockeri problém zvyčajne súvisí s... zneužitie localhost alebo s konfiguráciou siete, ktorá bráni dosiahnutiu hostiteľa.

Ak sú odpovede nepresné, skontrolujte model vkladania, jazyk dokumentu, veľkosť fragmentu a prah podobnosti. Väčší model chatu neopraví slabé vyhľadávanie, ak sa príslušné fragmenty nedostanú do kontextu.

Používanie Ollamy síce eliminuje náklady na dotazovanie externého API, ale stále zahŕňa spotrebu elektriny, úložný priestor a údržbu zariadení. Hlavnou výhodou tejto kombinácie je možnosť kontrolovať, kde sa dokumenty spracovávajú, a prispôsobiť model dostupným zdrojom.

Alberto Navarro

Alberto Navarro

Som technologický nadšenec, ktorý si zo svojich záľub v geekovstve urobil povolanie. Viac ako 10 rokov som strávil používaním najmodernejších technológií a experimentovaním so všetkými možnými programami zo zvedavosti. Teraz sa špecializujem na počítačové technológie a videohry. Už viac ako 5 rokov píšem pre rôzne webové stránky o technológiách a videohrách a vytváram články, ktorých cieľom je poskytnúť vám potrebné informácie v jazyku, ktorému každý rozumie.

Ak máte nejaké otázky, moje znalosti siahajú od všetkého, čo súvisí s operačným systémom Windows, ako aj Androidom pre mobilné telefóny. A môj záväzok je voči vám, vždy som ochotný venovať pár minút a pomôcť vám vyriešiť akékoľvek otázky, ktoré môžete mať v tomto internetovom svete.