Cum să conectezi OpenAI și alte modele de inteligență artificială la AnythingLLM

Dacă doriți să vă consultați propriile documente folosind inteligența artificială, AnythingLLM vă permite să creați o bază de cunoștințe fără a fi nevoie să dezvoltați întregul sistem de la zero. Aplicația poate funcționa cu modele care rulează pe computer și cu furnizori externi accesibili prin API.

Unul dintre principalele sale avantaje este că separă diferitele componente ale sistemuluiPuteți alege modelul lingvistic, furnizorul de embedding și baza de date vectorială, precum și să organizați documentele în spații de lucru. Această flexibilitate vă permite să configurați orice, de la un asistent personal la o instalare partajată pentru mai mulți utilizatori.

Totuși, instalarea aplicației este doar începutul. Pentru răspunsuri fiabile Modelul, conexiunea, documentele și permisiunile acordate agenților trebuie configurate corect..

AnythingLLM Desktop sau Docker: Ce versiune să aleg?

AnythingLLM Desktop Este conceput în principal pentru o singură persoană. Se instalează ca o aplicație obișnuită pe Windows, macOS sau Linux și se dovedește a fi cea mai simplă opțiune pentru testarea modelelor locale, consultarea documentelor și utilizarea agenților de pe propriul computer.

Docker este mai potrivit atunci când trebuie să îl accesezi dintr-un browser, să păstrezi aplicația pe un server sau să o partajezi cu alți utilizatori. Această versiune Vă permite să activați conturi, roluri și permisiuni. acces către spațiile de lucru.

Trebuie să decideți cu atenție dacă să activați mod multi-utilizatorConform documentației AnythingLLM, o instanță care trece la acest mod nu mai poate reveni ulterior la modul cu un singur utilizator. Înainte de a-l activa, faceți o copie de rezervă a datelor și verificați dacă aveți nevoie într-adevăr de conturi separate.

Cerințele depind în principal de modelul utilizat. AnythingLLM consumă puține resurse atunci când se conectează la o API externă, dar Rularea unui model local poate necesita o cantitate considerabilă de RAM sau memorie grafică. Ca referință generală, proiectul recomandă 16 GB de RAM și un procesor cu opt nuclee pentru o experiență de bază cu modele locale, deși consumul real va depinde de model, cuantizarea acestuia și fereastra sa contextuală.

Cum să instalezi AnythingLLM pe computerul tău

Instalarea AnythingLLM Desktop implică descărcarea versiunii corespunzătoare sistemului dvs. de operare și finalizarea expertului de configurare inițială. În timpul configurării, puteți alege modelul de limbă, furnizorul de embedding și baza de date vectorială.

AnythingLLM include opțiuni de localizare implicite, inclusiv LanceDB ca bază de date vectorială. Acest lucru vă permite să începeți. procesează documente fără a implementa o bază de date externăDe asemenea, puteți conecta diferite servicii dacă aveți nevoie de altă infrastructură sau dacă o aveți deja.

În Docker, este esențial să montați un volum persistent pe calea de stocare /app/server/storageDacă nu faceți acest lucru, ați putea pierde documente, setări și alte date atunci când containerul este șters sau recreat.

O instalare locală de bază poate fi implementată urmând comanda oficială a proiectului și apoi deschis prin intermediul:

http://localhost:3001

Dacă intenționezi să publici AnythingLLM pe internet, nu ar trebui să deschizi pur și simplu portul său. Configurați HTTPS, autentificarea, copiile de rezervă și un proxy invers și mențineți actualizate atât imaginea, cât și sistemul gazdă.

Cum să conectezi AnythingLLM cu OpenAI și alte API-uri

Pentru a utiliza un model prin API, deschideți setările AnythingLLM și accesați configurația furnizorului de limbă. OpenAI are un integrare specifică unde trebuie să introduceți o cheie API și selectați unul dintre modelele disponibile.

Cheia utilizată în API nu este neapărat aceeași cu cea utilizată într-un abonament ChatGPT. Utilizarea modelelor prin intermediul API este facturată și gestionată separat, așa că este recomandabil să setați limite de cheltuieli și să monitorizați utilizarea.

AnythingLLM oferă, de asemenea, furnizorului OpenAI genericAceastă opțiune vă permite să conectați servicii al căror API este compatibil cu formatul așteptat de OpenAI, de obicei prin introducerea adresei URL de bază, a cheii, a identificatorului modelului, a ferestrei contextuale și a limitei de ieșire.

Puteți utiliza această configurație cu un gateway compatibil, cum ar fi CometAPI, cu condiția să ofere un endpoint acceptat de AnythingLLM. În acest caz, trebuie să utilizați adresa URL exactă și identificatorul de model furnizate de furnizor. Nu toate serviciile promovate ca fiind compatibile implementează aceleași caracteristici, în special streaming și utilizarea instrumentelor.

Nu publicați niciodată cheia reală și nu o includeți în capturi de ecran. Dacă suspectați că a fost divulgată, revocați-o și creați una nouă din tabloul de bord al furnizorului.

Cum să conectezi Ollama când folosești Docker

Când AnythingLLM Desktop și Ollama rulează pe același computer, aplicația poate detecta automat adresa locală:

http://127.0.0.1:11434

Situația se schimbă dacă AnythingLLM se află în Docker. În acest caz, localhost Indică containerul în sine și nu computerul gazdă pe care rulează Ollama.

Pe Windows și macOS ar trebui să încercați:

http://host.docker.internal:11434

Pe Linux, documentația AnythingLLM recomandă utilizarea:

http://172.17.0.1:11434

Adresa se poate modifica dacă ați modificat rețeaua Docker. De asemenea, verificați dacă Ollama rulează, modelul a fost descărcat și serverul permite conexiuni de la adresa corectă. Nu expuneți public portul Ollama fără autentificare și măsuri suplimentare de securitate.

Cum se adaugă documente și se configurează RAG-ul

Spațiile de lucru vă permit să separați documentele, instrucțiunile și conversațiile în funcție de proiect. Într-o configurație cu mai mulți utilizatori, documentele adăugate prin RAG vor fi disponibile tuturor celor cu acces la spațiul de lucru corespunzător, așa că ar trebui să le verificați permisiunile înainte de a adăuga informații confidențiale.

AnythingLLM vă permite să lucrați cu documente în două moduri: le puteți atașa direct la un fir de execuție pentru a include conținutul lor în contextul modelului sau le puteți procesa folosind RAG-uri pentru... Împărțiți-le în fragmente și recuperați doar pe cele care au cea mai mare legătură cu fiecare întrebare.

Atașarea textului integral poate oferi mai mult context, dar consumă mai multe token-uri și este limitată de fereastra acceptată de model. RAG-urile sunt mai potrivite pentru colecții mari, deși calitatea va depinde de decupare, modelul de încorporare, interogare și setările de recuperare.

Simpla stocare a unui fișier în managerul de documente nu este suficientă. Dacă doriți ca acesta să fie disponibil prin RAG, trebuie să îl adăugați în spațiul de lucru și să îl procesați pentru a genera încorporările sale.

Dacă AnythingLLM nu găsește informații despre care știți că există acolo, verificați aceste opțiuni:

• Pragul de similaritate: O valoare foarte restrictivă poate elimina fragmente relevante.
• Număr maxim de fragmente: determină cât context recuperat este trimis modelului.
• Mod de interogare: Limitează răspunsurile la conținutul din documente.
• Reclasificare: Poate îmbunătăți selecția rezultatelor în schimbul unei procesări mai ample.
• Model de încorporare: Trebuie să fie adecvat limbii și tipului de conținut.

Nu există un prag perfect pentru toate colecțiile. Puneți mai multe întrebări ale căror răspunsuri le cunoașteți și ajustați setările comparând fragmentele recuperate.

Cum se utilizează agenții AnythingLLM

Agenții permit modelului să utilizeze instrumente dincolo de simpla generare de text. În funcție de configurație, aceștia pot căuta în documente, pot interoga web-ul, pot extrage conținut din pagini, pot crea grafică, pot salva fișiere sau pot efectua alte acțiuni disponibile.

La unele modele va trebui să vă conectați tastând @agent urmat de solicitare. Când furnizorul acceptă utilizarea automată a instrumentelor, chat-ul poate intra direct în modul agent. Pentru a încheia manual o sesiune începută în acest fel, puteți utiliza /exit.

Compatibilitatea depinde de model și de furnizor. Un model care răspunde corect într-un chat standard nu înseamnă neapărat că va rula instrumentele în mod fiabil. În cazul furnizorilor generici, poate fi necesar să se activeze explicit suportul pentru apelurile de instrumente.

Înainte de a acorda acces la fișiere, baze de date sau servicii externe, limitați permisiunile și testați agentul cu date neesențiale. Un agent ar putea interpreta greșit o instrucțiune, repeta o acțiune sau utiliza un instrument diferit de cel așteptat.

Cum să creezi abilități și automatizări personalizate

AnythingLLM vă permite să extindeți agenții cu abilități personalizate. O abilitate se poate conecta la o API, poate interoga o bază de date sau poate trimite o cerere către un webhook de la servicii precum Make sau Zapier.

Acest lucru vă permite să creați procese precum interogarea documentelor și pregătirea datelor necesare pentru actualizarea unei foi, înregistrarea unei sarcini sau trimiterea unei notificări. Cu toate acestea, nu este recomandabil să acordați modelului posibilitatea de a efectua direct acțiuni ireversibile.

Pentru tranzacțiile sensibile, utilizați un flux de lucru cu confirmare umană. Agentul poate pregăti o propunere, dar o persoană ar trebui să valideze rezultatul înainte de a șterge informații, a trimite comunicări, a modifica înregistrări importante sau a iniția o plată.

De asemenea, ar trebui să verificați orice competențe descărcate din surse externe. Aceste extensii pot executa cod și accesa datele furnizate de agent. AnythingLLM menține descărcarea anumitor pachete comunitare dezactivată în mod implicit tocmai din cauza acestui risc.

Cum să îmbunătățești răspunsurile și să corectezi erorile

Dacă modelul nu răspunde, verificați mai întâi adresa URL a furnizorului, validitatea cheii, identificatorul exact al modelului și jurnalele AnythingLLM. În Docker, ar trebui să verificați și conectivitatea dintre container și orice servicii instalate pe mașina gazdă.

Când răspunsurile sunt întrerupte, verificați fereastra contextuală și numărul maxim de token-uri de ieșire. Aceste valori trebuie să respecte limitele modelului utilizat. Creșterea lor în AnythingLLM nu extinde capacitățile reale ale API-ului.

Dacă răspunsurile nu utilizează corect documentele, încercați modul de interogare, reduceți întrebările excesiv de vagi și examinați fragmentele de informații recuperate. Dezactivarea temporară a restricției pragului de similaritate vă poate ajuta să verificați dacă sistemul a eliminat informații utile.

Pentru a continua procesarea în cadrul mașinii, trebuie să utilizați un model local, un furnizor local de embedding și o bază de date vectorială locală. De asemenea, va trebui să evitați căutările web, API-urile externe și orice funcție care trimite informații în afara mașinii. Numai în aceste condiții poate fi considerat practic offline.

AnythingLLM poate deveni un instrument foarte util pentru consultarea manualelor, organizarea documentației sau crearea de asistenți interni. Principalul său avantaj nu constă doar în conectarea mai multor modele, ci și în permiterea fiecărui utilizator să combine modelul, documentele și instrumentele de care are nevoie. Pentru ca sistemul să fie fiabil, este recomandabil să începeți cu un spațiu mic, să verificați sursele preluate și să extindeți permisiunile agenților doar după ce fluxul de lucru a fost testat.