Potpuni vodič za povezivanje LM Studija s AnythingLLM-om i savladavanje lokalne umjetne inteligencije

Ako želite koristiti umjetnu inteligenciju na računalu bez slanja svih razgovora i dokumenata na servere velike tvrtke, kombinirajte LM Studio s AnythingLLM-om To je jedna od najpraktičnijih opcija. Obje aplikacije mogu se pokretati lokalno i obavljati različite zadatke unutar sustava.

LM Studio se bavi preuzimanjem i pokretanjem jezičnog modela, dok AnythingLLM pruža konverzacijsko sučelje, radne prostore, upravljanje dokumentima, RAG sustav i alate za agente. Njihovim povezivanjem možete izgraditi osobnog asistenta sposobnog odgovarati na pitanja o vašim vlastitim datotekama.

U ovom vodiču ćemo vidjeti Kako povezati LM Studio s AnythingLLM-omkoju adresu trebate koristiti ovisno o vrsti instalacije i načinu konfiguriranja jezičnih modela i ugradnji za rad s dokumentima.

Koju funkciju obavlja svaka aplikacija?

LM Studio je aplikacija za preuzimanje, učitavanje i pokretanje jezičnih modela na Windowsima, macOS-u i Linuxu. Između ostalih značajki, omogućuje vam rad s modelima u GGUF formatu i njihovo izlaganje pomoću Lokalni API podržan od strane OpenAI-a.

To znači da druge aplikacije mogu slati zahtjeve modelu putem adrese poput:

http://localhost:1234

AnythingLLM djeluje kao sloj produktivnosti. Omogućuje vam stvaranje radnih prostora, spremanje razgovora, ugrađivanje dokumenata, konfiguriranje agenata i povezivanje različitih pružatelja modela. Model na razini sustava također se može zamijeniti drugim unutar određenog radnog prostora.

AnythingLLM uključuje vlastitu opciju lokalnog modeliranja, tako da LM Studio nije potreban. Međutim, povezivanje je korisno ako već upravljate svojim modelima iz LM Studija, želite testirati različite kvantizacije ili radije odvojite mehanizam za zaključivanje od sučelja dokumenta.

Što vam je potrebno prije nego što počnete

Za uspostavljanje veze morate imati instalirane obje aplikacije i kompatibilan model preuzet u LM Studio. Također se preporučuje provjeriti radi li model ispravno unutar chata LM Studija prije nego što ga pokušate koristiti iz AnythingLLM-a.

Zahtjevi za memorijom ovisit će o modelu, kvantizaciji, konfiguriranom kontekstu i broju slojeva koji se prenose na GPU. Kao općenitu smjernicu, LM Studio preporučuje najmanje 16 GB RAM-a i, na Windowsima, GPU s najmanje 4 GB namjenske VRAM memorije.

To ne znači da će bilo koji model dobro raditi s tom konfiguracijom. Za početak je najbolje koristiti male, kvantizirane modele. 7B ili 8B model u Q4_K_M obično je razuman izbor, ali također troši dodatnu memoriju za kontekst, KV predmemoriju i operacije zaključivanja.

Osim toga, preporučljivo je koristiti model tipa Uputiti ili obučen za razgovor. Osnovni model može generirati tekst, ali će obično manje učinkovito slijediti upute i nuditi manje korisno iskustvo unutar AnythingLLM-a.

Što su GGUF i kvantizacija?

GGUF je jedan od formata koji se koriste za distribuciju modela kompatibilnih s mehanizmima temeljenim na llama.cpp. Može sadržavati težine modela i razne metapodatke potrebne za pravilno učitavanje.

Kvantizacija smanjuje preciznost koja se koristi za pohranu težina. To smanjuje veličinu datoteke i zahtjeve za memorijom, iako može rezultirati i određenim gubitkom kvalitete. Varijanta Q4 je znatno manja od originalnog modela FP16, dok Q5 ili Q8 održavaju veću preciznost uz cijenu povećane potrošnje resursa.

Q4_K_M obično nudi dobru ravnotežu Za kućna računala to nije automatski najbolja opcija u svakom slučaju. Ako imate dovoljno memorije i trebate veću preciznost, možete isprobati Q5_K_M ili Q8_0. Ako model ne odgovara, morat ćete koristiti lakšu kvantizaciju, smanjiti kontekst ili odabrati model s manje parametara.

Također imajte na umu da 8B znači otprilike 8.000 milijardi parametara. Na španjolskom se ne bi trebalo prevoditi kao "ocho trilijun" (osam trilijuna), jer engleski izraz... milijarda ekvivalentno jednoj milijardi.

Kako pokrenuti lokalni server LM Studio

Otvorite LM Studio i idite na odjeljak za pretraživanje ili otkrivanje modela. Preuzmite model prikladan za vašu opremu i pričekajte da se proces završi.

Zatim otvorite odjeljak posvećen lokalnom poslužitelju ili načinu rada za razvojne programere, odaberite model i učitajte ga. LM Studio obično koristi luka 1234 za vaš lokalni poslužitelj.

Uobičajena adresa će biti:

http://localhost:1234

LM Studio nudi OpenAI-kompatibilne krajnje točke, poput one koja se koristi za popisivanje modela:

http://localhost:1234/v1/models

Tu adresu možete otvoriti u pregledniku ili poslati zahtjev kako biste provjerili odgovara li poslužitelj. Ako se pojave informacije o dostupnim modelima, API radi.

Trenutne verzije LM Studija također vam omogućuju pokretanje poslužitelja iz terminala:

lms server start

Poslužitelj može raditi u pozadini, ali mora ostati pokrenut dok ga AnythingLLM koristi. Ako zaustavite LM Studio, preuzmete model ili isključite poslužitelj, AnythingLLM će prestati primati odgovore.

Kako povezati LM Studio s AnythingLLM-om

S aktivnim poslužiteljem, otvorite AnythingLLM i idite u njegove postavke. Unutar postavki pružatelja jezičnog modela odaberite LM Studio.

Ako koristite LM Studio i AnythingLLM Desktop na istom računalu, unesite ovu adresu:

http://127.0.0.1:1234/v1

Također može funkcionirati:

http://localhost:1234/v1

AnythingLLM će upitati krajnju točku poslužitelja kako bi prikazao dostupne predloške. Odaberite onaj koji želite koristiti i spremite konfiguraciju.

Ako se popis čini praznim, provjerite je li poslužitelj još uvijek pokrenut, je li port ispravan i dopušta li LM Studio potrebne veze. U nekim verzijama možda ćete morati prethodno učitati model ili ručno odabrati njegov identifikator.

Nakon što spremite promjene, stvorite radni prostor i započnite jednostavan razgovor. Prije dodavanja dokumenata, provjerite odgovara li model ispravno na standardnu ​​poruku. To će vam pomoći da razlikujete problem s vezom od problema vezanog uz RAG ili ugrađivanja.

Koju adresu koristiti ako AnythingLLM radi u Dockeru

Jedna od najčešćih pogrešaka javlja se kada se AnythingLLM pokreće unutar Dockera. U tom slučaju, localhost y 127.0.0.1 Oni pokazuju na sam kontejner, a ne na računalo na kojem se izvodi LM Studio.

U Docker Desktopu za Windows ili macOS obično biste trebali koristiti:

http://host.docker.internal:1234/v1

U nekim Docker instalacijama na Linuxu, možda će biti potrebno koristiti Docker bridge adresu:

http://172.17.0.1:1234/v1

Točna adresa može varirati ako ste izmijenili Docker mrežu. Također biste trebali konfigurirati LM Studio da prihvaća veze s drugih uređaja na lokalnoj mreži ili iz spremnika. Nemojte izravno izlagati poslužitelj za zaključivanje internetu bez autentifikacije i dodatnih sigurnosnih mjera.

Ako veza i dalje ne uspijeva, provjerite iz spremnika je li krajnja točka dostupna. Problem nije u modelu ako AnythingLLM ne može ni dosegnuti port 1234.

Postavljanje modela ugradnje

Konverzacijski model i model ugrađivanja imaju različite funkcije. Prvi izrađuje odgovore, dok drugi transformira fragmente dokumenata u numeričke vektore kako bi se mogli pronaći putem semantičkih pretraga.

AnythingLLM uključuje lokalni model ugrađivanja koji se preuzima tijekom prve upotrebe. Reprezentacije generirane ovim modelom ostaju na računalu kada se koristi lokalna konfiguracija.

Također možete koristiti LM Studio kao pružatelja usluga ugradnje, ali za to morate preuzeti i prenijeti specifični model ugrađivanjaNe biste trebali automatski odabrati isti LLM koji koristite za razgovor, jer konverzacijski model ne nudi nužno kompatibilnu krajnju točku ugrađivanja.

Postavke pružatelja usluga ugrađivanja primjenjuju se na cijeli sustav. Ako promijenite model nakon indeksiranja dokumenata, vektorske dimenzije mogu se razlikovati. U tom slučaju morat ćete izbrisati i ponovno generirati ugrađene elemente za pogođene dokumente.

Za jednostavnu instalaciju, najpogodnija opcija je koristiti LM Studio kao LLM pružatelja usluga i zadržati zadani lokalni model ugrađivanja iz AnythingLLM-a.

Kako koristiti dokumente i RAG

AnythingLLM vam omogućuje izravno prilaganje dokumenata razgovoru ili njihovo uključivanje u radni prostor pomoću RAG-a. To nisu potpuno isti postupci.

Kada priložite datoteku chatu, AnythingLLM može umetnuti njezin sadržaj izravno u kontekst tog razgovora. To omogućuje pristup većem dijelu dokumenta, ali troši više tokena i može premašiti kontekstni prozor modela.

Kada integrirate dokument u radni prostor, AnythingLLM ga dijeli na fragmente, generira njegove ugradnje i pohranjuje ih u vektorsku bazu podataka. Kada postavite pitanje, dohvaća fragmente koje smatra najrelevantnijima i isporučuje ih modelu zajedno s vašim upitom.

LanceDB je zadana lokalna vektorska baza podataka, iako AnythingLLM podržava i druge alternative. Nije preporučljivo mijenjati baze podataka nakon indeksiranja svih datoteka, jer se vektori ne migriraju automatski i dokumente će trebati ponovno obraditi.

RAG može smanjiti lažne odgovore pružanjem relevantnih informacija, ali Ne uklanja u potpunosti halucinacijeModel može pogrešno protumačiti fragment, dohvatiti neprikladan dio ili odgovoriti koristeći svoje prethodno znanje.

Prilagodite fragmente i oporavak

Ne postoji jedna savršena veličina fragmenta za sve dokumente. Tehnički priručnik, tablica, ugovor i roman imaju vrlo različite strukture. Uvijek koristite između 1024 i 2048 znakova ne jamči bolje odgovore.

Mali isječci nude preciznije pretrage, ali mogu odvojiti objašnjenje od konteksta. Veliki isječci drže više informacija zajedno, iako unose šum i zauzimaju veći dio dostupnog prozora.

Prije izmjene globalnih parametara, testirajte zadane postavke s pitanjima na koja znate odgovore. Ako sustav ne dohvati ispravne informacije, možete provjeriti sljedeće:

• Veličina fragmenata i njihovo preklapanje.
• Maksimalan broj fragmenata poslanih modelu.
• Kvaliteta teksta izdvojenog iz datoteke.
• Odabrani model ugradnje.
• Način pretraživanja i opcija ponovnog rangiranja.
• Kontekstni prozor dostupan u LLM-u.

AnythingLLM preporučuje da se za mnoge modele obično čuva između četiri i šest isječaka konteksta. Slanje previše isječaka može popuniti dostupan prozor i unijeti nebitne informacije.

Opcija pretraživanja optimizirana za preciznost dohvaća više rezultata i mijenja njihov redoslijed pomoću modela ponovnog rangiranja. To može poboljšati relevantnost, ali povećava potrošnju resursa i određenu latenciju.

Koristite agente i alate

AnythingLLM uključuje agente sposobne za korištenje alata kao što su pregledavanje weba, struganje, upiti o dokumentima, generiranje grafova i pristup bazi podataka. Obično se pozivaju pomoću funkcije agenta dostupne u razgovoru.

Ne koriste svi lokalni modeli alate s istom pouzdanošću. Mali model može odgovoriti da će izvršiti radnju bez da zapravo ispravno pozove alat. Za najbolje rezultate koristite model koji eksplicitno označava kompatibilnost s korištenje alata ili pozive funkcija.

Također biste trebali aktivirati samo potrebne vještine. Davanje agentu pristupa datotečnom sustavu, bazi podataka ili vanjskim uslugama proširuje njegove mogućnosti, ali i povećava utjecaj pogrešno protumačene instrukcije.

Za SQL veze, koristite korisnika samo za čitanje kad god je to moguće. Čak i ako je agentu naloženo izvršavanje sigurnih upita, stvarna ograničenja moraju se provoditi i na razini baze podataka.

Povežite MCP servere s AnythingLLM-om

AnythingLLM podržava alate dostupne putem Model Context Protocol-a. MCP poslužitelji mogu se dodati s odgovarajućeg zaslona za upravljanje ili putem datoteke anythingllm_mcp_servers.json nalazi se u mapi za pohranu dodataka.

U AnythingLLM Desktopu, MCP poslužitelji zahtijevaju kompatibilnu verziju aplikacije i koriste ih agenti. Nadalje, implementacija je usmjerena na MCP alatiNisu sve mogućnosti protokola, kao što su Resursi, Upute ili Uzorkovanje, nužno dostupne.

Prije dodavanja poslužitelja, provjerite da su naredbe poput node, npx, uv o uvx Instaliraju se kada vaša konfiguracija to zahtijeva. AnythingLLM ne instalira automatski sve programe potrebne za svaki MCP poslužitelj.

Ne pokretajte poslužitelje iz nepoznatih izvora. MCP alat može čitati datoteke, ispitivati ​​vjerodajnice ili mijenjati informacije ako ima potrebna dopuštenja. AnythingLLM Cloud također ne nudi MCP ili prilagođene agente zbog ovih sigurnosnih implikacija; da biste ih koristili, potrebna vam je desktop aplikacija ili kompatibilna samostalno upravljana instalacija.

Privatnost: koliko dugo podaci ostaju na računalu

Kombinacija može raditi potpuno lokalno ako LM Studio pokreće model, AnythingLLM koristi lokalna ugrađivanja, a LanceDB pohranjuje vektore na istom računalu.

Međutim, instaliranje obje aplikacije ne jamči da nikakvi podaci neće napustiti vaše računalo. Informacije se i dalje mogu slati izvana ako omogućite:

• Pružatelj modela ili ugradnji smještenih u oblaku.
• Alat za pregledavanje weba ili pretraživanje.
• Udaljeni MCP poslužitelj.
• API treće strane koji koristi agent.
• Vanjski sustav za transkripciju ili pohranu.

Ako ćete raditi s povjerljivim dokumentima, pojedinačno pregledajte svakog pružatelja usluga i alat. Također, imajte na umu da dokumenti ugrađeni u radni prostor mogu biti dostupni drugim korisnicima koji imaju pristup tom radnom prostoru.

Kako poboljšati performanse

Ako je generiranje presporo ili LM Studio prikazuje memorijske pogreške, počnite odabirom manjeg modela ili lakše kvantizacije. Također možete smanjiti veličinu kontekstnog prozora i prilagoditi broj slojeva koji se prenose na GPU.

Na računalu s namjenskom grafičkom karticom, LM Studio može distribuirati model između VRAM-a i RAM-a pomoću GPU Offloada. Što više slojeva ide na grafičku karticu, to je model obično brži, ali trebali biste ostaviti dovoljno prostora za sustav, KV predmemoriju i ostale aplikacije.

Na Macovima s Apple Siliconom, CPU i GPU dijele ujedinjenu memoriju. Time se izbjegavaju neki prijenosi tipični za namjenske GPU-ove, ali operativni sustav i druge aplikacije također moraju koristiti tu memoriju.

Netočno je reći da je 16 GB RAM-a i 6 GB VRAM-a više nego dovoljno za bilo koji 7B model. Ta konfiguracija može pokretati mnoge kvantizirane modele, ali konačna potrošnja resursa ovisi o varijanti, kontekstu, pozadinskom sustavu i razini rasterećenja.

70B modeli zahtijevaju znatno više memorije čak i nakon kvantizacije. Mogu se pokretati raspodjelom opterećenja između CPU-a i GPU-a ili korištenjem više GPU-a, iako performanse mogu znatno pasti ako se velik dio obrade oslanja na RAM i procesor.

Što provjeriti ako se AnythingLLM ne može povezati s LM Studiom

Ako se model ne pojavi ili AnythingLLM vrati grešku, provjerite ove točke:

1. Provjerite je li LM Studio poslužitelj pokrenut.
2. Provjerite je li predložak preuzet i dostupan.
3. Otvoriti http://localhost:1234/v1/models za provjeru API-ja.
4. Koristiti http://127.0.0.1:1234/v1 s desktop aplikacijama.
5. Koristiti host.docker.internal ako se AnythingLLM nalazi unutar Docker Desktopa.
6. Omogućuje potrebne mrežne veze u LM Studiju.
7. Provjerite svoj Windows vatrozid i provjerite je li port 1234 blokiran.
8. Potvrdite da model stane u memoriju i da je učitavanje završeno.
9. Prvo pokušajte razgovarati bez dokumenata ili alata.

Ako normalan chat radi, ali odgovori datoteka su netočni, problem je vjerojatno u modelu ugrađivanja, izdvajanju dokumenata, indeksiranju ili postavkama oporavka.

S LM Studiom kao vašim mehanizmom za zaključivanje i AnythingLLM-om kao sučeljem za dokumente i agente, možete izgraditi fleksibilnog lokalnog asistenta bez nužnog oslanjanja na cloud API. Ključno je zauzeti pravi pristup, razlikovati LLM od modela ugradnje i pregledati koji vanjski alati imaju pristup informacijama.