Ghid complet pentru conectarea oricărui LLM cu Ollama

AnythingLLM și Ollama vă permit să creați un asistent care vă consultă propriile documente. folosind modele rulate pe computer sau server. Ollama se ocupă de încărcarea modelului lingvistic, în timp ce AnythingLLM oferă interfața, organizează fișierele și preia informațiile relevante folosind RAG.

Când toate componentele sunt configurate local, documentele și interogările nu trebuie trimise către un furnizor de modele cloud. Cu toate acestea, această confidențialitate Depinde și de faptul că nu activezi căutări web, API-uri externe sau alte instrumente. care transmit informații în afara echipei.

Ce ai nevoie înainte de a conecta AnythingLLM cu Ollama

Trebuie să aveți Ollama instalat și funcțional, precum și AnythingLLM Desktop sau o instanță implementată de Docker. Desktop este mai simplu pentru un singur utilizator, în timp ce Docker permite accesul din browser și partajați instalarea.

Resursele necesare depind de modelul ales, de cuantizarea acestuia și de lungimea contextului. Un model mic poate rula exclusiv pe procesor, deși va fi mai lent. Modelele cu 7.000 sau 8.000 miliarde de parametri necesită de obicei mai multă memorie și oferă o experiență mai bună atunci când Ollama poate utiliza un GPU compatibil.

Nu este recomandabil să setați o cerință minimă de RAM care să se aplice tuturor cazurilor. Înainte de a descărca un model mare, verificați dimensiunea acestuia și asigurați-vă că aveți suficientă memorie pentru sistemul de operare, AnythingLLM și baza de date vectorială.

Descărcați un șablon de chat și un șablon de încorporare

Ollama are nevoie de un model pentru a genera răspunsurile. Și, dacă doriți să îl utilizați și ca furnizor de embedding, un alt model specializat în transformarea documentelor în vectori.

Puteți descărca două șabloane de probă folosind:

ollama pull llama3.1:8b
ollama pull nomic-embed-text

Primul model este utilizat pentru conversație și scrierea răspunsurilor. nomic-embed-text Generează doar elemente încorporate și nu poate fi folosit ca șablon de chat. Puteți verifica șabloanele disponibile cu:

ollama list

Aceste nume sunt exemple, nu cerințe. Puteți selectați un șablon de chat mai mic dacă echipa are resurse limitatePentru documentele care sunt în mare parte în spaniolă, ați putea fi interesat și de un șablon de încorporare multilingvă disponibil în biblioteca Ollama, cum ar fi bge-m3.

Modelul de încorporare trebuie ales înainte de indexarea unei biblioteci mari. Dacă îl modificați ulterior, va trebui să reprocesați documentele pentru a genera vectori compatibili.

Cum să conectezi AnythingLLM Desktop cu Ollama

Deschideți setările AnythingLLM și selectați Ollama ca furnizor de modele lingvistice.Dacă ambele aplicații rulează pe același computer, în mod normal ați folosi această adresă:

http://127.0.0.1:11434

AnythingLLM ar trebui să afișeze șabloanele descărcate. Selectați-l pe cel pe care îl veți folosi pentru chat și testați-l înainte de a adăuga documentele.

Apoi, deschideți setările furnizorului de încorporare. Puteți Alegeți modelul încorporat AnythingLLM sau selectați Ollama și utilizați modelul de încorporări descărcat anterior. LanceDB poate fi păstrat ca bază de date vectorială locală dacă nu aveți nevoie de un alt sistem.

Nu setați o fereastră de context cu privilegii ridicate doar pentru că modelul o acceptă. Creșterea contextului consumă mai mult memorie și poate încetini răspunsurile. Începeți cu configurația detectată de Ollama și modificați-o doar dacă situația o impune.

Cum să conectezi AnythingLLM în Docker cu Ollama

Când AnythingLLM rulează în interiorul unui container, localhost Indică către containerul în sine, nu către computerul gazdă. În Docker Desktop pentru Windows sau macOS puteți utiliza:

http://host.docker.internal:11434

Pe Linux, este posibil ca acel nume să nu fie disponibil automat. Puteți adăuga o mapare la pornirea containerului sau o puteți include în Docker Compose:

extra_hosts:
  - "host.docker.internal:host-gateway"

Poate fi, de asemenea, necesar Configurați Ollama să asculte la o adresă accesibilă din rețeaua DockerNu expuneți portul 11434 direct la internet, deoarece API-ul local al Ollamei nu este destinat publicării fără un nivel suplimentar de protecție.

Dacă Ollama și AnythingLLM rulează ca servicii din același fișier Docker Compose, este mai ușor să le încorporați într-o rețea privată comună și să utilizați numele serviciului, de exemplu:

http://ollama:11434

După salvarea adresei, verificați dacă AnythingLLM poate afișa modelele instalate înainte de a continua.

Adăugați documente și configurați RAG-ul

Creați un spațiu de lucru și încărcați documentele pe care doriți să le consultați. Pentru a le face disponibile prin RAG, trebuie să le adăugați în spațiul de lucru și să începeți procesarea lor. AnythingLLM va împărți textul în fragmente, va genera încorporările și le va stoca în baza de date vectorială.

Când pui o întrebare, sistemul preia câteva fragmente conexe și le încorporează în contextul trimis modelului. Acest lucru reduce cantitatea de text procesat, dar înseamnă că modelul... Nu citește automat toate documentele în fiecare consultație.

Dacă un răspuns omite informații relevante, verificați numărul maxim de fragmente recuperate și pragul de similaritate. Un prag foarte restrictiv ar putea elimina fragmentul care conține răspunsul. Documentația recomandă încercarea temporară a opțiunii nerestricționate atunci când RAG nu reușește să găsească informațiile prezente în fișiere.

Referințele afișate de AnythingLLM ajută la identificarea documentului utilizat, dar nu garantează că răspunsul este corect sau că numărul exact al paginii este întotdeauna indicat. Este recomandabil să verificați sursa înainte de a utiliza rezultatul în decizii importante.

Rezolvă cele mai frecvente probleme

Dacă AnythingLLM nu detectează Ollama, verificați mai întâi dacă serviciul rulează și dacă adresa configurată este accesibilă din același mediu în care rulează AnythingLLM. De asemenea, puteți verifica API-ul local folosind:

curl http://localhost:11434/api/tags

Dacă modelul apare în Ollama, dar nu în AnythingLLM, reîmprospătați lista de modele și verificați din nou dacă ați selectat furnizorul corect. În Docker, problema este de obicei legată de abuzul de localhost sau cu o configurație de rețea care împiedică accesul la gazdă.

Când răspunsurile sunt imprecise, verificați modelul de încorporare, limba documentului, dimensiunea fragmentului și pragul de similaritate. Un model de chat mai mare nu va remedia recuperarea deficitară dacă fragmentele corespunzătoare nu ajung la context.

Utilizarea Ollama evită costul interogării unui API extern, dar implică în continuare consum de energie electrică, spațiu de stocare și întreținerea echipamentelor. Principalul avantaj al acestei combinații este capacitatea de a controla locul în care sunt procesate documentele și de a adapta modelul la resursele disponibile.