Kako povezati OpenAI i druge AI modele s AnythingLLM-om

Ako želite pregledavati vlastite dokumente pomoću umjetne inteligencije, AnythingLLM vam omogućuje stvaranje baze znanja bez potrebe za razvojem cijelog sustava od nule. Aplikacija može raditi s modelima koji se izvode na računalu i s vanjskim pružateljima usluga dostupnim putem API-ja.

Jedna od njegovih glavnih prednosti je ta što odvaja različite komponente sustavaMožete odabrati jezični model, pružatelja usluga ugradnje i vektorsku bazu podataka, kao i organizirati dokumente u radne prostore. Ova fleksibilnost omogućuje vam postavljanje bilo čega, od osobnog asistenta do dijeljene instalacije za više korisnika.

Međutim, instaliranje aplikacije je samo početak. Za pouzdane odgovore Model, veza, dokumenti i dopuštenja dodijeljena agentima moraju biti ispravno konfigurirani..

AnythingLLM Desktop ili Docker: Koju verziju odabrati?

AnythingLLM Desktop Namijenjen je prvenstveno jednoj osobi. Instalira se kao obična aplikacija na Windows, macOS ili Linux i ispada da je to najjednostavnija opcija za testiranje lokalnih modela, konzultiranje dokumenata i korištenje agenata s vlastitog računala.

Docker je prikladniji kada mu trebate pristupiti iz preglednika, držati aplikaciju na poslužitelju ili je dijeliti s drugim korisnicima. Ova verzija Omogućuje vam omogućavanje računa, uloga i dozvola. pristup do radnih prostora.

Morate pažljivo odlučiti hoćete li aktivirati višekorisnički način radaPrema dokumentaciji AnythingLLM-a, instanca koja se prebaci u ovaj način rada ne može se nakon toga vratiti u način rada za jednog korisnika. Prije omogućavanja, napravite sigurnosnu kopiju podataka i provjerite da li vam zaista trebaju odvojeni računi.

Zahtjevi uglavnom ovise o korištenom modelu. AnythingLLM troši malo resursa prilikom povezivanja s vanjskim API-jem, ali Pokretanje lokalnog modela može zahtijevati znatnu količinu RAM-a ili grafičke memorije. Kao opća referenca, projekt preporučuje 16 GB RAM-a i osmojezgreni CPU za osnovno iskustvo s lokalnim modelima, iako će stvarna potrošnja ovisiti o modelu, njegovoj kvantizaciji i kontekstualnom prozoru.

Kako instalirati AnythingLLM na vaše računalo

Instaliranje AnythingLLM Desktopa uključuje preuzimanje verzije koja odgovara vašem operativnom sustavu i dovršavanje početnog čarobnjaka za postavljanje. Tijekom konfiguracije možete odabrati jezični model, pružatelja usluga ugradnje i vektorsku bazu podataka.

AnythingLLM uključuje zadane opcije lokalizacije, uključujući LanceDB kao vektorsku bazu podataka. To vam omogućuje početak. obrada dokumenata bez korištenja vanjske baze podatakaTakođer možete povezati različite usluge ako vam je potrebna druga infrastruktura ili je već imate.

U Dockeru je bitno montirati perzistentni volumen na putanju /app/server/storageAko to ne učinite, mogli biste izgubiti dokumente, postavke i ostale podatke kada se spremnik izbriše ili ponovno stvori.

Može se implementirati osnovna lokalna instalacija slijedeći službenu naredbu projekta a zatim otvoriti pomoću:

http://localhost:3001

Ako ćete objavljivati ​​AnythingLLM na internetu, ne biste trebali samo otvoriti njegov port. Konfigurirajte HTTPS, autentifikaciju, sigurnosne kopije i obrnuti proxy te ažurirajte i sliku i glavni sustav.

Kako povezati AnythingLLM s OpenAI-jem i drugim API-jima

Za korištenje modela putem API-ja, otvorite postavke AnythingLLM-a i idite na konfiguraciju pružatelja jezika. OpenAI ima specifična integracija gdje morate unijeti API ključ i odaberite jedan od dostupnih modela.

Ključ koji se koristi u API-ju nije nužno isti kao ChatGPT pretplata. Korištenje modela putem API-ja naplaćuje se i upravlja zasebno, stoga je preporučljivo postaviti ograničenja potrošnje i pratiti svoju upotrebu.

AnythingLLM također nudi pružatelja usluga Generički OpenAIOva opcija vam omogućuje povezivanje servisa čiji je API kompatibilan s formatom koji očekuje OpenAI, obično unosom osnovnog URL-a, ključa, identifikatora modela, kontekstnog prozora i izlazne granice.

Ovu konfiguraciju možete koristiti s kompatibilnim pristupnikom poput CometAPI-ja, pod uvjetom da nudi krajnju točku koju podržava AnythingLLM. U tom slučaju morate koristiti točan URL i identifikator modela koji je naveo dobavljač. Nisu sve usluge koje se oglašavaju kao kompatibilne implementirane iste značajke, posebno streaming i korištenje alata.

Nikada ne objavljujte svoj pravi ključ niti ga uključujte u snimke zaslona. Ako sumnjate da je procurio, poništite ga i stvorite novi s nadzorne ploče pružatelja usluga.

Kako povezati Ollamu kada se koristi Docker

Kada se AnythingLLM Desktop i Ollama izvode na istom računalu, aplikacija može automatski detektirati lokalnu adresu:

http://127.0.0.1:11434

Situacija se mijenja ako se AnythingLLM nalazi unutar Dockera. U tom slučaju, localhost Ukazuje na sam kontejner, a ne na glavno računalo na kojem se izvodi Ollama.

Na Windowsima i macOS-u trebali biste pokušati:

http://host.docker.internal:11434

Na Linuxu, dokumentacija AnythingLLM-a preporučuje korištenje:

http://172.17.0.1:11434

Adresa se može promijeniti ako ste izmijenili Docker mrežu. Također, provjerite je li Ollama pokrenuta, je li model preuzet i dopušta li poslužitelj veze s ispravne adrese. Nemojte javno izlagati Ollama port bez autentifikacije i dodatnih sigurnosnih mjera.

Kako dodati dokumente i konfigurirati RAG

Radni prostori omogućuju vam odvajanje dokumenata, uputa i razgovora po projektu. U okruženju s više korisnika, dokumenti dodani putem RAG-a bit će dostupni svima koji imaju pristup odgovarajućem radnom prostoru, stoga biste trebali pregledati njihova dopuštenja prije dodavanja povjerljivih informacija.

AnythingLLM vam omogućuje rad s dokumentima na dva načina: možete ih izravno priložiti niti kako biste uključili njihov sadržaj u kontekst modela ili ih obraditi pomoću RAG-ova za... podijelite ih na fragmente i pronađite samo one koji su najviše povezani sa svakim pitanjem.

Prilaganje punog teksta može pružiti više konteksta, ali troši više tokena i ograničeno je prozorom koji model podržava. RAG-ovi su prikladniji za velike zbirke, iako će kvaliteta ovisiti o izrezivanju, modelu ugrađivanja, upitu i postavkama dohvaćanja.

Samo pohranjivanje datoteke u upravitelju dokumenata nije dovoljno. Ako želite da bude dostupna putem RAG-a, morate je dodati u radni prostor i obraditi je kako biste generirali njezine ugradnje.

Ako AnythingLLM ne pronađe informacije za koje znate da postoje, provjerite ove opcije:

• Prag sličnosti: Vrlo restriktivna vrijednost može odbaciti relevantne fragmente.
• Maksimalni broj fragmenata: određuje koliko se dohvaćenog konteksta šalje modelu.
• Način upita: Ograničava odgovore na sadržaj koji se nalazi u dokumentima.
• Ponovno rangiranje: Može poboljšati odabir rezultata u zamjenu za više obrade.
• Model ugradnje: Mora biti prikladan za jezik i vrstu sadržaja.

Ne postoji savršen prag za sve kolekcije. Postavite nekoliko pitanja čije odgovore znate i prilagodite postavke uspoređujući dohvaćene fragmente.

Kako koristiti AnythingLLM agente

Agenti omogućuju modelu korištenje alata koji nisu samo generiranje teksta. Ovisno o konfiguraciji, mogu pretraživati ​​dokumente, slati upite na web, izdvajati sadržaj sa stranica, stvarati grafiku, spremati datoteke ili izvršavati druge dostupne radnje.

Na nekim modelima morat ćete se prijaviti upisivanjem @agent nakon čega slijedi zahtjev. Kada pružatelj usluga podržava automatsku upotrebu alata, chat može izravno ući u način rada agenta. Za ručni prekid sesije započete na ovaj način možete koristiti /exit.

Kompatibilnost ovisi o modelu i dobavljaču. Model koji ispravno reagira u standardnom chatu ne znači nužno da će pouzdano pokretati alate. Kod generičkih dobavljača može biti potrebno i izričito omogućiti podršku za pozive alata.

Prije odobravanja pristupa vanjskim datotekama, bazama podataka ili uslugama, ograničite dopuštenja i testirajte agenta s nebitnim podacima. Agent bi mogao pogrešno protumačiti uputu, ponoviti radnju ili koristiti drugačiji alat od očekivanog.

Kako stvoriti prilagođene vještine i automatizacije

AnythingLLM vam omogućuje proširenje agenata prilagođenim vještinama. Vještina se može povezati s API-jem, upitati bazu podataka ili poslati zahtjev webhooku iz servisa poput Make ili Zapier.

To vam omogućuje stvaranje procesa poput upita dokumenata i pripreme podataka potrebnih za ažuriranje lista, registraciju zadatka ili slanje obavijesti. Međutim, nije preporučljivo dati modelu mogućnost izravnog izvođenja nepovratnih radnji.

Za osjetljive transakcije koristite tijek rada s ljudskom potvrdom. Agent može pripremiti prijedlog, ali osoba bi trebala potvrditi rezultat prije brisanja informacija, slanja komunikacija, izmjene važnih zapisa ili pokretanja plaćanja.

Također biste trebali provjeriti sve vještine preuzete iz vanjskih izvora. Ta proširenja mogu izvršavati kod i pristupati podacima koje pruža agent. AnythingLLM prema zadanim postavkama onemogućuje preuzimanje određenih paketa zajednice upravo zbog tog rizika.

Kako poboljšati odgovore i ispraviti pogreške

Ako model ne reagira, prvo provjerite URL pružatelja, valjanost ključa, točan identifikator modela i zapisnike AnythingLLM-a. U Dockeru biste također trebali provjeriti povezanost između spremnika i svih usluga instaliranih na host računalu.

Kada su odgovori odrezani, provjerite kontekstni prozor i maksimalni broj izlaznih tokena. Ove vrijednosti moraju poštivati ​​ograničenja korištenog modela. Njihovo povećanje u AnythingLLM-u ne proširuje stvarne mogućnosti API-ja.

Ako odgovori ne koriste dokumente ispravno, isprobajte način upita, smanjite previše nejasna pitanja i pregledajte dohvaćene isječke. Privremeno onemogućavanje ograničenja praga sličnosti može vam pomoći da provjerite je li sustav odbacivao korisne informacije.

Da biste obradu zadržali unutar stroja, morate koristiti lokalni model, lokalnog pružatelja ugradnje i lokalnu vektorsku bazu podataka. Također ćete morati izbjegavati web pretraživanja, vanjske API-je i bilo koju mogućnost koja šalje informacije izvan stroja. Samo pod tim uvjetima može se smatrati da je u biti izvan mreže.

AnythingLLM može postati vrlo koristan alat za konzultiranje priručnika, organiziranje dokumentacije ili stvaranje internih čarobnjaka. Njegova glavna prednost nije samo u povezivanju mnogih modela, već u tome što svakom korisniku omogućuje kombiniranje modela, dokumenata i alata koji su mu zapravo potrebni. Da bi sustav bio pouzdan, preporučljivo je započeti s malim prostorom, provjeriti dohvaćene izvore i proširiti dozvole agenta tek nakon što je tijek rada testiran.