Ako prepojiť LocalAI s AnythingLLM v 4 krokoch

Prepojenie LocalAI s AnythingLLM je jednou z najlepších kombinácií na využitie potenciálu lokálnej AI. LocalAI funguje ako inferenčný engine, zatiaľ čo AnythingLLM poskytuje intuitívne rozhranie pre správu znalostí. Táto príručka vysvetľuje ako na to. Ako prepojiť tieto dva nástroje a vytvoriť si osobného asistenta.

Čo sú LocalAI a AnythingLLM?

Predtým, ako začneme prepájať LocalAI s AnythingLLM, je užitočné pochopiť, čo každý z nich robí a prečo je ich kombinácia výhodná. Keď už hovoríme o prvom, Lokálna umelá inteligencia Bol vytvorený ako priama náhrada za rozhranie OpenAI API a je s ním kompatibilný. Je to inferenčný server, ktorý umožňuje sťahovanie a lokálne spustenie nielen jazykové modely (LLM), ale aj generátory prevodu reči na text a dokonca aj generátory obrázkov.

Najväčšou výhodou LocalAI je, že je kompatibilné s akoukoľvek aplikáciou určenou na interakciu s OpenAIVšetko, čo musíte urobiť, je zmeniť základnú URL adresu (http://localhost:8080/v1) a použiť fiktívny kľúč API. Modely bežia lokálne, takže neplatíte za tokeny ani predplatné a sú dostupné prostredníctvom servera pre ľubovoľného klienta AI na rôznych počítačoch.

Na druhej strane máme klienta s umelou inteligenciou ČokoľvekLLM, Pracovné prostredie, ktoré kombinuje chat, vkladanie, RAG, agentov a nástroje produktivity. Jednou z jeho najvýraznejších funkcií je previesť lokálne dokumenty na zdroje, ktoré môže umelá inteligencia nahliadnuť a vygenerovať odpovedeS AnythingLLM si môžete tiež stiahnuť jazykové modely a spustiť ich lokálne.

Prečo prepojiť LocalAI s AnythingLLM?

Je pravda, že novšie verzie AnythingLLM umožňujú sťahovať a spúšťať jazykové modely priamo v jeho rozhraní. Ak však už na správu jazykových modelov používate LocalAI, nemusíte si z AnythingLLM sťahovať ďalšie. Môžete prepojiť oba nástroje: použiť prvý ako inferenčný nástroj backend, a druhý ako frontend alebo používateľské rozhranie.

Používajte LocalAI ako centrálny server Umožňuje vám spracovať rôzne požiadavky z rôznych aplikácií a zariadení. Napríklad môžete použiť AnythingLLM pre svoje dokumenty, plugin pre automatické dopĺňanie kódu v editore, automatizačné boty alebo skripty Pythonu. Všetky tieto nástroje by využívali ten istý lokálny server AI na súčasné vykonávanie rôznych úloh.

Okrem toho, prepojenie LocalAI s AnythingLLM vám poskytne prístup k Výkonný RAG engine pre lokálnu správu dokumentovS AnythingLLM si môžete vytvoriť akýsi Súkromný GPT chat, ktorý odpovedá pomocou vašich vlastných dokumentov a súborovPrepojením oboch nástrojov vytvoríte prostredie schopné konkurovať komerčným riešeniam, ale bez závislosti od cloudu.

Ako krok za krokom prepojiť LocalAI s AnythingLLM

Pozrime sa teraz, ako krok za krokom prepojiť LocalAI s AnythingLLM. Pre zabezpečenie plynulého priebehu lokálneho spracovania je vhodné mať odporúčaný hardvérMinimálne potrebujete 16 GB RAM (32 GB pre modely 7B alebo vyššie) a aspoň 30 GB voľného miesta na SSD disku. Oveľa lepšie je, ak máte aj grafickú kartu s podporou CUDA pre zrýchlenie odozvy.

Krok 1: Nasadenie LocalAI pomocou Docker Compose

Prirodzene, na prepojenie LocalAI s AnythingLLM potrebujete mať spustené oba nástroje. Ak ich už máte, prejdite na krok 3. Ak nie, prvá vec, ktorú musíte urobiť, je... Nasadiť LocalAIA neexistuje lepší spôsob, ako to urobiť, ako pomocou Docker Compose. Podrobný návod, ako na to, nájdete v príspevku. Ako krok za krokom nainštalovať LocalAI s Dockerom.

Keď je kontajner aktívny, prístup http://localhost:8080 spravovať galériu modelov. Odtiaľ môžete stiahnite si šablónu chatu vo formáte GGUF (napríklad varianty Llama 3 alebo Mistral 7B) a model vnorenia (napríklad bge-small alebo text-embedding-ada-002). Dôležité: zachovajte presný názov priradený ku každému modelu.

Krok 2: Inštalácia AnythingLLM

Druhým krokom je inštalácia aplikácie AnythingLLM, ak ste tak ešte neurobili. Tento klient je možné nainštalovať ako desktopová aplikácia alebo ako serverový kontajnerPre osobné pracovné prostredie ponúka desktopová verzia najlepšiu integráciu. Sťahovanie pre rôzne platformy je možné jednoducho vykonať z [odkaz/webová stránka/atď.]. Oficiálna webová stránka AnythingLLMAk potrebujete viac informácií, pozrite si záznam Ako krok za krokom nainštalovať AnythingLLM na Windows.

Môžete tiež Nainštalujte si AnythingLLM pomocou DockeruKeď už máte aplikáciu aktívnu, je dôležité nakonfigurujte ho prvýkrátTo zahŕňa povolenie povolení a stiahnutie šablón. To druhé však nebude potrebné, pretože Pripojíme ho k LocalAI, aby sme mohli použiť modely, ktoré ste si tam stiahli.Po otvorení aplikácie vás asistent požiada o výber poskytovateľa LLM: túto časť preskočte a prejdite na hlavný panel.

Krok 3: Prepojenie LocalAI s AnythingLLM cez API

Keď sú oba nástroje nainštalované a pripravené, je čas prepojiť LocalAI s AnythingLLM. Pripojenie vytvoríme cez API, takže musíme prejsť do AnythingLLM a nakonfigurovať jazykový model. Povieme AnythingLLM, aby používal stiahnutý jazykový model v LocalAI. Postupujte podľa týchto krokov:

1. V AnythingLLM kliknite na ikonu Nastavenia ktorý sa nachádza pod ľavým panelom.
2. Teraz rozbaľte kartu Poskytovatelia umelej inteligencie a kliknite na LLM.
3. V rozbaľovacej ponuke Poskytovateľ LLM vyberte Lokálna umelá inteligencia.
4. Teraz zadajte parametre pripojenia:
   1. Základná URL adresa LocalAIhttp://localhost:8080/v1 (ak je AnythingLLM spustený v Dockeri v Linuxe, používa IP adresu rozhrania bridge alebo [http://host.docker.internal:8080/v1] (http://host.docker.internal:8080/v1)).
   2. Názov modeluPresný názov textového modelu načítaného do LocalAI (príklad: llama-3-8b-instruct).
   3. Kontextové okno modeluDefinuje kontextové okno povolené modelom (zvyčajne 4096 alebo 8192 tokenov).
5. Strážca zmeny.

Konfigurácia vloženého modelu (Vkladač)

Na spracovanie a vyhľadávanie v dokumentoch pomocou RAG potrebuje AnythingLLM model, ktorý transformuje text do vektorovNakonfigurujte to takto:

1. Vnútri Nastavenia- Poskytovatelia umelej inteligencie, kliknite na Vkladač (Vkladač).
2. Znova vyberte Lokálna umelá inteligencia ako dodávateľ.
3. Nakonfigurujte Základná URL adresa: http://localhost:8080/v1.
4. En Názov modelu vkladania, zadajte alebo vyberte názov vášho aktívneho vektorového modelu v LocalAI.
5. Kliknite na udržať Potvrdenie výberu. Týmto ste práve prepojili LocalAI s AnythingLLM.

Krok 4: Vytvorenie pracovného priestoru a testovanie RAG

Po prepojení LocalAI s AnythingLLM zostáva len vytvoriť pracovný priestor a spustiť testAk to chcete urobiť, kliknite na Nový pracovný priestor a pomenujte ho. Teraz kliknite na ikonu nahrania súboru a nahrajte svoje dokumenty (PDF, TXT, MD). Vyberte nahrané súbory, kliknite na Presunúť do pracovného priestoru a potom na Uložiť a vložiť.

Teraz môžete otvoriť okno chatu v pracovnom priestore a vytvoriť kontextový dopyt. AnythingLLM prevedie vašu otázku na vektor, vyhľadá najrelevantnejšie úryvky vo svojej lokálnej vektorovej databáze, Odošle formátovaný kontext do LocalAI a LocalAI odpovie. na základe informácií vo vašich súboroch.

Hotovo! Prepojenie LocalAI s AnythingLLM Je to jednoduchý proces Ponúka to najlepšie z oboch svetov. Na jednej strane výkonný, kompatibilný a proprietárny inferenčný engine; na druhej strane intuitívne rozhranie s prístupom k lokálnym súborom. Spoločne tvoria základ pre lokálny ekosystém umelej inteligencie s veľkým potenciálom škálovateľnosti.