- Vsestranska integracija jezikovnih modelov z uporabo API-jev, združljivih s standardom OpenAI.
- Napredno upravljanje dokumentov z uporabo RAG za ustvarjanje zasebnih in varnih baz znanja.
- Prilagodljivost uvajanja med namiznimi različicami za individualno uporabo in Dockerjem za poslovna okolja.
- Zmogljivosti avtomatizacije prek inteligentnih agentov in delovnih tokov, povezanih z zunanjimi storitvami.
Če želite pregledati svoje dokumente z uporabo umetne inteligence, AnythingLLM vam omogoča ustvarjanje baze znanja brez potrebe po razvoju celotnega sistema od začetka. Aplikacija lahko deluje z modeli, ki se izvajajo v računalniku, in z zunanjimi ponudniki, do katerih je mogoče dostopati prek API-ja.
Ena njegovih glavnih prednosti je, da ločuje različne komponente sistemaIzberete lahko jezikovni model, ponudnika vdelave in vektorsko podatkovno zbirko ter organizirate dokumente v delovne prostore. Ta prilagodljivost vam omogoča, da nastavite karkoli, od osebnega asistenta do skupne namestitve za več uporabnikov.
Vendar je namestitev aplikacije šele začetek. Za zanesljive odgovore Model, povezava, dokumenti in dovoljenja, dodeljena agentom, morajo biti pravilno konfigurirani..
AnythingLLM Desktop ali Docker: Katero različico izbrati?
Namizni računalnik AnythingLLM Namenjen je predvsem eni osebi. Namesti se kot običajna aplikacija v sisteme Windows, macOS ali Linux in izkaže se za najpreprostejšo možnost za testiranje lokalnih modelov, pregledovanje dokumentov in uporabo agentov iz lastnega računalnika.
Docker je bolj primeren, kadar do njega dostopate iz brskalnika, aplikacijo hranite na strežniku ali jo delite z drugimi uporabniki. Ta različica Omogoča vam omogočanje računov, vlog in dovoljenj. dostop do delovnih prostorov.
Previdno se morate odločiti, ali boste aktivirali večuporabniški načinGlede na dokumentacijo AnythingLLM se instanca, ki preklopi v ta način, pozneje ne more vrniti v način za enega uporabnika. Preden ga omogočite, varnostno kopirajte podatke in preverite, ali resnično potrebujete ločene račune.
Zahteve so odvisne predvsem od uporabljenega modela. AnythingLLM porabi malo virov pri povezovanju z zunanjim API-jem, ampak Zagon lokalnega modela lahko zahteva precejšnjo količino RAM-a ali grafični pomnilnik. Kot splošno referenco projekt priporoča 16 GB RAM-a in osemjedrni procesor za osnovno izkušnjo z lokalnimi modeli, čeprav bo dejanska poraba odvisna od modela, njegove kvantizacije in kontekstnega okna.
Kako namestiti AnythingLLM na vaš računalnik
Namestitev programa AnythingLLM Desktop vključuje prenos različice, ki ustreza vašemu operacijskemu sistemu, in dokončanje čarovnika za začetno namestitev. Med konfiguracijo lahko izberete jezikovni model, ponudnika vdelave in vektorsko podatkovno zbirko.
AnythingLLM vključuje privzete možnosti lokalizacije, vključno z LanceDB kot vektorsko podatkovno bazo. To vam omogoča začetek. obdelava dokumentov brez uporabe zunanje baze podatkovČe potrebujete drugo infrastrukturo ali jo že imate, lahko povežete tudi različne storitve.
V Dockerju je bistveno, da na pot namestite trajni nosilec. /app/server/storageČe tega ne storite, lahko izgubite dokumente, nastavitve in druge podatke, ko bo vsebnik izbrisan ali ponovno ustvarjen.
Namestiti je mogoče osnovno lokalno namestitev po uradnem ukazu projekta in nato odprite z:
http://localhost:3001
Če boste AnythingLLM objavili na internetu, ne smete samo odpreti njegovih vrat. Konfigurirajte HTTPS, preverjanje pristnosti, varnostne kopije in obratni proxy ter posodabljajte tako sliko kot gostiteljski sistem.
Kako povezati AnythingLLM z OpenAI in drugimi API-ji
Če želite uporabiti model prek API-ja, odprite nastavitve AnythingLLM in pojdite na konfiguracijo ponudnika jezika. OpenAI ima specifična integracija, kjer morate vnesti ključ API in izberite enega od razpoložljivih modelov.
Ključ, ki se uporablja v API-ju, ni nujno enak naročnini na ChatGPT. Uporaba modelov prek API-ja se zaračunava in upravlja ločeno, zato je priporočljivo nastaviti omejitve porabe in spremljati svojo porabo.
AnythingLLM ponuja tudi ponudnika Generična OpenAITa možnost vam omogoča povezovanje storitev, katerih API je združljiv z obliko zapisa, ki jo pričakuje OpenAI, običajno z vnosom osnovnega URL-ja, ključa, identifikatorja modela, kontekstnega okna in izhodne meje.
To konfiguracijo lahko uporabite z združljivim prehodom, kot je CometAPI, če ponuja končno točko, ki jo podpira AnythingLLM. V tem primeru morate uporabiti natančen URL in identifikator modela, ki ga je zagotovil prodajalec. Vse storitve, ki so oglaševane kot združljive, ne izvajajo enakih funkcij, zlasti pretakanja in uporabe orodij.
Nikoli ne objavljajte svojega pravega ključa in ga ne vključujte v posnetke zaslona. Če sumite, da je pricurljal v javnost, ga prekličite in ustvarite novega na nadzorni plošči ponudnika.
Kako povezati Ollamo pri uporabi Dockerja
Ko se AnythingLLM Desktop in Ollama izvajata na istem računalniku, lahko aplikacija samodejno zazna lokalni naslov:
http://127.0.0.1:11434
Situacija se spremeni, če je AnythingLLM znotraj Dockerja. V tem primeru localhost Kaže na sam vsebnik in ne na gostiteljski računalnik, kjer se izvaja Ollama.
V sistemih Windows in macOS poskusite:
http://host.docker.internal:11434
V Linuxu dokumentacija AnythingLLM priporoča uporabo:
http://172.17.0.1:11434
Naslov se lahko spremeni, če ste spremenili omrežje Docker. Preverite tudi, ali Ollama deluje, ali je bil model prenesen in ali strežnik dovoljuje povezave s pravilnega naslova. Vrata Ollama ne izpostavljajte javno brez preverjanja pristnosti in dodatnih varnostnih ukrepov.
Kako dodati dokumente in konfigurirati RAG
Delovni prostori vam omogočajo ločevanje dokumentov, navodil in pogovorov po projektih. V okolju z več uporabniki bodo dokumenti, dodani prek RAG, na voljo vsem, ki imajo dostop do ustreznega delovnega prostora, zato morate pred dodajanjem zaupnih informacij preveriti njihova dovoljenja.
AnythingLLM vam omogoča delo z dokumenti na dva načina: lahko jih neposredno pripnete niti, da vključite njihovo vsebino v kontekst modela, ali pa jih obdelate z uporabo RAG-ov za ... razdelite jih na fragmente in poiščite le tiste, ki so najbolj povezani z vsakim vprašanjem.
Prilaganje celotnega besedila lahko zagotovi več konteksta, vendar porabi več žetonov in je omejeno z oknom, ki ga podpira model. RAG-i so primernejši za velike zbirke, čeprav bo kakovost odvisna od izrezovanja, modela vdelave, poizvedbe in nastavitev pridobivanja.
Samo shranjevanje datoteke v upravitelju dokumentov ni dovolj. Če želite, da je na voljo prek RAG, jo morate dodati v delovni prostor in jo obdelati, da ustvarite njene vdelave.
Če AnythingLLM ne najde informacij, za katere veste, da so tam, preverite te možnosti:
- Prag podobnosti: Zelo omejujoča vrednost lahko zavrže ustrezne fragmente.
- Največje število fragmentov: določa, koliko pridobljenega konteksta se pošlje modelu.
- Način poizvedbe: Omejuje odgovore na vsebino, ki se nahaja v dokumentih.
- Ponovna uvrstitev: V zameno za večjo obdelavo lahko izboljša izbor rezultatov.
- Model vgradnje: Mora biti primeren za jezik in vrsto vsebine.
Za vse zbirke ni popolnega praga. Postavite več vprašanj, na katera poznate odgovore, in prilagodite nastavitve s primerjavo pridobljenih fragmentov.
Kako uporabljati agente AnythingLLM
Agenti omogočajo modelu uporabo orodij, ki presegajo zgolj generiranje besedila. Glede na konfiguracijo lahko iščejo v dokumentih, poizvedujejo po spletu, izvlečejo vsebino s strani, ustvarjajo grafiko, shranjujejo datoteke ali izvajajo druga razpoložljiva dejanja.
Pri nekaterih modelih se boste morali prijaviti tako, da vtipkate @agent sledi zahteva. Ko ponudnik podpira samodejno uporabo orodij, lahko klepet neposredno preklopi v način agenta. Če želite ročno končati sejo, ki se je začela na ta način, lahko uporabite /exit.
Združljivost je odvisna od modela in prodajalca. Model, ki se pravilno odziva v standardnem klepetu, še ne pomeni nujno, da bo zanesljivo zagnal orodja. Pri generičnih prodajalcih bo morda treba tudi izrecno omogočiti podporo za klice orodij.
Preden odobrite dostop do zunanjih datotek, baz podatkov ali storitev, omejite dovoljenja in preizkusite agenta z nebistvenimi podatki. Agent lahko napačno interpretira navodilo, ponovi dejanje ali uporabi drugačno orodje, kot je pričakovano.
Kako ustvariti prilagojene veščine in avtomatizacije
AnythingLLM vam omogoča razširitev agentov s prilagojenimi veščinami. Veščina se lahko poveže z API-jem, poizveduje po zbirki podatkov ali pošlje zahtevo spletnemu kavlju iz storitev, kot sta Make ali Zapier.
To vam omogoča ustvarjanje procesov, kot so poizvedovanje po dokumentih in priprava podatkov, potrebnih za posodobitev lista, registracijo opravila ali pošiljanje obvestila. Vendar pa ni priporočljivo, da modelu omogočite neposredno izvajanje nepovratnih dejanj.
Za občutljive transakcije uporabite potek dela s človeško potrditvijo. Agent lahko pripravi predlog, vendar mora oseba potrditi rezultat, preden izbriše podatke, pošlje sporočila, spremeni pomembne zapise ali sproži plačilo.
Preverite tudi morebitne spretnosti, prenesene iz zunanjih virov. Te razširitve lahko izvajajo kodo in dostopajo do podatkov, ki jih posreduje agent. AnythingLLM prav zaradi tega tveganja privzeto onemogoči prenos določenih paketov skupnosti.
Kako izboljšati odgovore in odpraviti napake
Če se model ne odziva, najprej preverite URL ponudnika, veljavnost ključa, točen identifikator modela in dnevnike AnythingLLM. V Dockerju morate preveriti tudi povezljivost med vsebnikom in vsemi storitvami, nameščenimi na gostiteljskem računalniku.
Ko so odgovori prekinjeni, preverite kontekstno okno in največje število izhodnih žetonov. Te vrednosti morajo upoštevati omejitve uporabljenega modela. Njihovo povečanje v AnythingLLM ne razširi dejanskih zmogljivosti API-ja.
Če odgovori ne uporabljajo dokumentov pravilno, poskusite z načinom poizvedbe, zmanjšajte število preveč nejasnih vprašanj in preglejte pridobljene delčke. Začasna onemogočitev omejitve praga podobnosti vam lahko pomaga preveriti, ali je sistem zavrgel koristne informacije.
Če želite, da obdelava poteka znotraj stroja, morate uporabiti lokalni model, lokalnega ponudnika vdelave in lokalno vektorsko podatkovno bazo. Izogibati se boste morali tudi spletnemu iskanju, zunanjim API-jem in vsem možnostem, ki pošiljajo informacije izven stroja. Le pod temi pogoji se lahko šteje, da je v bistvu brez povezave.
AnythingLLM lahko postane zelo uporabno orodje za pregledovanje priročnikov, organiziranje dokumentacije ali ustvarjanje internih čarovnikov. Njegova glavna prednost ni zgolj v povezovanju številnih modelov, temveč v tem, da vsakemu uporabniku omogoča kombiniranje modela, dokumentov in orodij, ki jih dejansko potrebuje. Da bi bil sistem zanesljiv, je priporočljivo začeti z majhnim prostorom, preveriti pridobljene vire in razširiti dovoljenja agentov šele po preizkusu poteka dela.
Sem tehnološki navdušenec, ki je svoja "geek" zanimanja spremenil v poklic. Več kot 10 let svojega življenja sem porabil za uporabo vrhunske tehnologije in premleval najrazličnejše programe iz čiste radovednosti. Zdaj sem se specializiral za računalniško tehnologijo in video igre. To je zato, ker že več kot 5 let pišem za različna spletna mesta o tehnologiji in video igrah ter ustvarjam članke, ki vam želijo dati informacije, ki jih potrebujete, v jeziku, ki je razumljiv vsem.
Če imate kakršna koli vprašanja, moje znanje sega od vsega v zvezi z operacijskim sistemom Windows kot tudi Androidom za mobilne telefone. In moja zaveza je vam, vedno sem pripravljen porabiti nekaj minut in vam pomagati razrešiti kakršna koli vprašanja, ki jih morda imate v tem internetnem svetu.