Kompletní průvodce propojením LM Studia s AnythingLLM a zvládnutím lokální umělé inteligence

Pokud chcete ve svém počítači používat umělou inteligenci, aniž byste museli posílat všechny konverzace a dokumenty na servery velké společnosti, zkombinujte LM Studio s AnythingLLM Je to jedna z nejpraktičtějších možností. Obě aplikace mohou běžet lokálně a provádět různé úkoly v rámci systému.

LM Studio se stará o stahování a spuštění jazykového modelu, zatímco AnythingLLM poskytuje konverzační rozhraní, pracovní prostory, správu dokumentů, systém RAG a nástroje pro agenty. Jejich propojením si můžete vytvořit osobního asistenta schopného odpovídat na otázky týkající se vašich vlastních souborů.

V tomto průvodci uvidíme Jak propojit LM Studio s AnythingLLMkterou adresu byste měli použít v závislosti na typu instalace a na tom, jak nakonfigurovat jazykové modely a vkládání pro práci s dokumenty.

Jakou funkci každá aplikace plní?

LM Studio je aplikace pro stahování, načítání a spouštění jazykových modelů v systémech Windows, macOS a Linux. Mimo jiné umožňuje pracovat s modely ve formátu GGUF a zpřístupnit je pomocí... Lokální API podporované OpenAI.

To znamená, že ostatní aplikace mohou odesílat požadavky modelu prostřednictvím adresy, jako je:

http://localhost:1234

AnythingLLM funguje jako vrstva produktivity. Umožňuje vytvářet pracovní prostory, ukládat konverzace, vkládat dokumenty, konfigurovat agenty a propojovat různé poskytovatele modelů. Systémový model lze také nahradit jiným v rámci konkrétního pracovního prostoru.

AnythingLLM obsahuje vlastní možnost lokálního modelování, takže LM Studio není nutné. Jeho připojení je však užitečné, pokud již spravujete své modely z LM Studia, chcete testovat různé kvantizace nebo dáváte přednost oddělení inferenčního enginu od rozhraní dokumentu.

Co potřebujete před začátkem

Pro navázání spojení musíte mít nainstalované obě aplikace a stažen kompatibilní model v LM Studiu. Před pokusem o použití modelu z AnythingLLM se také doporučuje ověřit, zda model funguje správně v chatu LM Studia.

Požadavky na paměť budou záviset na modelu, kvantizaci, nakonfigurovaném kontextu a počtu vrstev nahrávaných do GPU. Obecně doporučuje LM Studio alespoň 16 GB RAM a v systému Windows grafickou kartu s minimálně 4 GB vyhrazené paměti VRAM.

To neznamená, že jakýkoli model bude s touto konfigurací dobře fungovat. Nejlepší je začít s malými, kvantovanými modely. Model 7B nebo 8B v Q4_K_M je obvykle rozumnou volbou, ale také spotřebovává další paměť pro kontext, KV mezipaměť a inferenční operace.

Kromě toho je vhodné použít model typu Poučit nebo vyškoleni ke konverzaci. Základní model dokáže generovat text, ale obvykle bude méně efektivně řídit se pokyny a nabízet méně užitečný zážitek v rámci AnythingLLM.

Co je GGUF a kvantizace?

GGUF je jeden z formátů používaných k distribuci modelů kompatibilních s enginy založenými na llama.cpp. Může obsahovat váhy modelů a různá metadata nezbytná pro správné načtení.

Kvantizace snižuje přesnost použitou k ukládání vah. To snižuje velikost souboru a požadavky na paměť, i když to může také vést ke ztrátě kvality. Varianta Q4 je výrazně menší než původní model FP16, zatímco Q5 nebo Q8 si zachovávají vyšší přesnost za cenu zvýšené spotřeby zdrojů.

Q4_K_M obvykle nabízí dobrou rovnováhu Pro domácí počítače to není automaticky nejlepší volba ve všech případech. Pokud máte dostatek paměti a potřebujete větší přesnost, můžete vyzkoušet Q5_K_M nebo Q8_0. Pokud model nesedí, budete muset použít slabší kvantizaci, redukovat kontext nebo zvolit model s menším počtem parametrů.

Nezapomeňte také, že 8B znamená přibližně 8.000 miliard parametrů. Ve španělštině by se to nemělo překládat jako „ocho trillion“ (osm trillionů), protože anglický termín... miliarda ekvivalent jedné miliardy.

Jak spustit lokální server LM Studio

Otevřete LM Studio a přejděte do sekce vyhledávání nebo objevování modelů. Stáhněte si model vhodný pro vaše zařízení a počkejte na dokončení procesu.

Dále otevřete sekci věnovanou lokálnímu serveru nebo vývojářskému režimu, vyberte model a načtěte jej. LM Studio obvykle používá port 1234 pro váš lokální server.

Obvyklá adresa bude:

http://localhost:1234

LM Studio nabízí koncové body kompatibilní s OpenAI, jako například ten, který se používá k výpisu modelů:

http://localhost:1234/v1/models

Tuto adresu můžete otevřít ve svém prohlížeči nebo odeslat požadavek na ověření, zda server odpovídá. Pokud se zobrazí informace o dostupných modelech, API funguje.

Aktuální verze LM Studia také umožňují spustit server z terminálu:

lms server start

Server může běžet na pozadí, ale musí zůstat spuštěný, dokud jej používá AnythingLLM. Pokud zastavíte LM Studio, stáhnete model nebo vypnete server, AnythingLLM přestane přijímat odpovědi.

Jak propojit LM Studio s AnythingLLM

S aktivním serverem otevřete AnythingLLM a přejděte do jeho nastavení. V nastavení poskytovatele jazykového modelu vyberte Studio LM.

Pokud používáte LM Studio a AnythingLLM Desktop na stejném počítači, zadejte tuto adresu:

http://127.0.0.1:1234/v1

Může to také fungovat:

http://localhost:1234/v1

AnythingLLM se dotáže koncového bodu serveru, aby zobrazil dostupné šablony. Vyberte tu, kterou chcete použít, a uložte konfiguraci.

Pokud se seznam jeví jako prázdný, zkontrolujte, zda server stále běží, port je správný a zda LM Studio povoluje potřebná připojení. V některých verzích může být nutné model předem načíst nebo ručně vybrat jeho identifikátor.

Po uložení změn vytvořte pracovní prostor a zahajte jednoduchou konverzaci. Před přidáním dokumentů se ujistěte, že model správně reaguje na standardní zprávu. To vám pomůže rozlišit mezi problémem s připojením a problémem souvisejícím s RAG nebo vkládáním.

Kterou adresu použít, pokud AnythingLLM funguje v Dockeru

Jedna z nejčastějších chyb se vyskytuje při spuštění AnythingLLM v Dockeru. V takovém případě... localhost y 127.0.0.1 Ukazují na samotný kontejner, nikoli na počítač, na kterém běží LM Studio.

V Docker Desktopu pro Windows nebo macOS byste obvykle měli používat:

http://host.docker.internal:1234/v1

V některých instalacích Dockeru na Linuxu může být nutné použít adresu Docker bridge:

http://172.17.0.1:1234/v1

Přesná adresa se může lišit, pokud jste upravili síť Docker. Měli byste také nakonfigurovat LM Studio tak, aby přijímalo připojení z jiných zařízení v místní síti nebo z kontejneru. Nevystavujte inferenční server přímo internetu bez ověřování a dalších bezpečnostních opatření.

Pokud připojení nadále selhává, zkontrolujte v kontejneru, zda je koncový bod dosažitelný. Problém není v modelu, pokud AnythingLLM nemůže dosáhnout ani portu 1234.

Nastavení modelu vkládání

Konverzační model a model vkládání plní různé funkce. První z nich navrhuje odpovědi, zatímco druhý transformuje fragmenty dokumentů do číselných vektorů, aby je bylo možné najít pomocí sémantického vyhledávání.

AnythingLLM obsahuje lokální model vkládání, který se stáhne při prvním použití. Reprezentace vygenerované tímto modelem zůstávají v počítači i při použití lokální konfigurace.

LM Studio můžete také použít jako poskytovatele vkládání, ale k tomu si musíte stáhnout a nahrát specifický model vkládáníNeměli byste automaticky vybírat stejný LLM, který používáte pro chatování, protože konverzační model nemusí nutně nabízet kompatibilní koncový bod pro vkládání.

Nastavení poskytovatele vkládání platí pro celý systém. Pokud po indexování dokumentů změníte model, mohou se vektorové rozměry lišit. V takovém případě budete muset vložené objekty pro dotčené dokumenty odstranit a znovu vygenerovat.

Pro snadnou instalaci je nejpohodlnější možností použít LM Studio jako poskytovatele LLM a ponechat výchozí lokální model vkládání z AnythingLLM.

Jak používat dokumenty a RAG

AnythingLLM umožňuje připojit dokumenty přímo ke konverzaci nebo je začlenit do pracovního prostoru pomocí RAG. Nejedná se o úplně stejné postupy.

Když k chatu připojíte soubor, AnythingLLM může jeho obsah vložit přímo do kontextu dané konverzace. To sice poskytuje přístup k větší části dokumentu, ale spotřebovává více tokenů a může to překročit kontextové okno modelu.

Když integrujete dokument do pracovního prostoru, AnythingLLM jej rozdělí na fragmenty, vygeneruje jeho vnoření a uloží je do vektorové databáze. Když položíte otázku, načte fragmenty, které považuje za nejrelevantnější, a doručí je do modelu spolu s vaším dotazem.

LanceDB je výchozí lokální vektorová databáze, ačkoli AnythingLLM podporuje i jiné alternativy. Nedoporučuje se přepínat mezi databázemi po indexování všech souborů, protože vektory se nemigrují automaticky a dokumenty bude nutné znovu zpracovat.

RAG může omezit vykonstruované odpovědi tím, že poskytuje relevantní informace, ale Neodstraňuje halucinace úplně.Model může fragment špatně interpretovat, načíst nevhodnou část nebo reagovat s využitím svých předchozích znalostí.

Úprava fragmentů a obnova

Neexistuje jediná ideální velikost fragmentu pro všechny dokumenty. Technická příručka, tabulka, smlouva a román mají velmi odlišné struktury. Vždy používejte 1024 až 2048 znaků. nezaručuje lepší odpovědi.

Malé úryvky nabízejí přesnější vyhledávání, ale mohou oddělit vysvětlení od kontextu. Velké úryvky uchovávají více informací pohromadě, i když vnášejí šum a zabírají větší část dostupného okna.

Před úpravou globálních parametrů otestujte výchozí nastavení pomocí otázek, na které znáte odpovědi. Pokud systém nenačte správné informace, můžete zkontrolovat následující:

• Velikost fragmentů a jejich překrývání.
• Maximální počet fragmentů odeslaných do modelu.
• Kvalita textu extrahovaného ze souboru.
• Vybraný model vkládání.
• Režim vyhledávání a možnost změny pořadí.
• Kontextové okno dostupné v LLM.

AnythingLLM doporučuje pro mnoho modelů obvykle ponechat čtyři až šest kontextových úryvků. Odeslání příliš velkého počtu úryvků může zaplnit dostupné okno a vnést irelevantní informace.

Možnost vyhledávání optimalizovaného pro přesnost načte více výsledků a změní jejich pořadí pomocí modelu opětovného pořadí. To může zlepšit relevanci, ale zvyšuje spotřebu zdrojů a zvyšuje latenci.

Používejte agenty a nástroje

AnythingLLM zahrnuje agenty schopné používat nástroje, jako je prohlížení webu, scraping, dotazování dokumentů, generování grafů a přístup k databázi. Obvykle se volají pomocí funkce agenta dostupné v konverzaci.

Ne všechny lokální modely používají nástroje se stejnou spolehlivostí. Malý model může reagovat, že provede akci, aniž by nástroj správně volal. Nejlepších výsledků dosáhnete, když použijete model, který explicitně indikuje kompatibilitu s... použití nástroje nebo volání funkcí.

Měli byste také aktivovat pouze nezbytné dovednosti. Udělení agentovi přístupu k souborovému systému, databázi nebo externím službám sice rozšiřuje jeho možnosti, ale také zvyšuje dopad chybně interpretované instrukce.

Pro SQL připojení používejte, kdykoli je to možné, uživatele s přístupem pouze pro čtení. I když je agent instruován k provádění bezpečných dotazů, musí být na úrovni databáze vynucena skutečná omezení.

Propojení MCP serverů s AnythingLLM

AnythingLLM podporuje nástroje poskytované prostřednictvím Model Context Protocol. Servery MCP lze přidat z odpovídající obrazovky správy nebo prostřednictvím souboru anythingllm_mcp_servers.json nachází se ve složce úložiště doplňků.

V AnythingLLM Desktop vyžadují MCP servery kompatibilní verzi aplikace a jsou používány agenty. Implementace je dále zaměřena na Nástroje MCPNe všechny funkce protokolu, jako například zdroje, výzvy nebo vzorkování, jsou nutně k dispozici.

Před přidáním serveru zkontrolujte, zda jsou použity příkazy jako node, npx, uv o uvx Instalují se, když to vaše konfigurace vyžaduje. AnythingLLM neinstaluje automaticky všechny programy požadované jednotlivými MCP servery.

Nespouštějte servery z neznámých zdrojů. Nástroj MCP může číst soubory, dotazovat se na přihlašovací údaje nebo upravovat informace, pokud má potřebná oprávnění. AnythingLLM Cloud také nenabízí MCP ani vlastní agenty kvůli těmto bezpečnostním důsledkům; k jejich použití potřebujete desktopovou aplikaci nebo kompatibilní samosprávnou instalaci.

Soukromí: jak dlouho zůstávají data v počítači

Kombinace může fungovat zcela lokálně, pokud LM Studio spouští model, AnythingLLM používá lokální vkládání a LanceDB ukládá vektory na stejném počítači.

Instalace obou aplikací však nezaručuje, že z vašeho počítače nebudou žádná data odesílána. Informace lze i nadále odesílat externě, pokud povolíte:

• Poskytovatel modelů nebo embeddingů hostovaných v cloudu.
• Nástroj pro prohlížení webu nebo vyhledávání.
• Vzdálený server MCP.
• API třetí strany používané agentem.
• Externí transkripční nebo úložný systém.

Pokud budete pracovat s důvěrnými dokumenty, zkontrolujte každého poskytovatele a nástroj jednotlivě. Mějte také na paměti, že dokumenty vložené do pracovního prostoru mohou být přístupné i jiným uživatelům s přístupem k tomuto pracovnímu prostoru.

Jak zlepšit výkon

Pokud je generování příliš pomalé nebo LM Studio zobrazuje chyby paměti, začněte výběrem menšího modelu nebo slabší kvantizace. Můžete také zmenšit velikost kontextového okna a upravit počet vrstev nahrávaných na GPU.

V počítači s dedikovanou grafickou kartou (GPU) může LM Studio distribuovat model mezi VRAM a RAM pomocí funkce GPU Offload. Čím více vrstev se do GPU přenáší, tím je model obvykle rychlejší, ale měli byste ponechat dostatek prostoru pro systém, mezipaměť KV a další aplikace.

Na počítačích Mac s technologií Apple Silicon sdílí CPU a GPU jednotnou paměť. Tím se zabrání některým přenosům typickým pro dedikované GPU, ale operační systém a další aplikace tuto paměť také potřebují využívat.

Není správné říkat, že 16 GB RAM a 6 GB VRAM je více než dost pro jakýkoli 7B model. Tato konfigurace dokáže spustit mnoho kvantizovaných modelů, ale konečná spotřeba zdrojů závisí na variantě, kontextu, backendu a úrovni odlehčení.

Modely 70B vyžadují i ​​po kvantizaci výrazně více paměti. Mohou běžet s rozdělením zátěže mezi CPU a GPU nebo s využitím více GPU, i když výkon může značně klesnout, pokud velká část zpracování závisí na RAM a procesoru.

Co zkontrolovat, pokud se AnythingLLM nepřipojí k LM Studiu

Pokud se model nezobrazí nebo AnythingLLM vrátí chybu, zkontrolujte tyto body:

1. Zkontrolujte, zda je server LM Studio spuštěný.
2. Ověřte, zda je šablona stažena a dostupná.
3. OTEVŘENO http://localhost:1234/v1/models pro kontrolu API.
4. Použití http://127.0.0.1:1234/v1 s desktopovými aplikacemi.
5. Použití host.docker.internal Pokud je AnythingLLM uvnitř Docker Desktopu.
6. Umožňuje potřebná síťová připojení v LM Studiu.
7. Zkontrolujte firewall systému Windows a ujistěte se, že port 1234 není blokován.
8. Ověřte, zda se model vejde do paměti a zda se dokončilo načítání.
9. Zkuste si nejprve povídat bez dokumentů a nástrojů.

Pokud normální chat funguje, ale odpovědi na soubory jsou nesprávné, problém bude pravděpodobně v modelu vkládání, extrakci dokumentů, indexování nebo nastavení obnovy.

S LM Studiem jako inferenčním enginem a AnythingLLM jako rozhraním pro dokumenty a agenty si můžete vytvořit flexibilního lokálního asistenta, aniž byste se nutně spoléhali na cloudové API. Klíčem je zvolit správný přístup, odlišit LLM od modelu embeddingu a zkontrolovat, které externí nástroje mají k informacím přístup.