Jak propojit OpenAI a další modely umělé inteligence s AnythingLLM

Pokud chcete prohlížet své vlastní dokumenty pomocí umělé inteligence, AnythingLLM vám umožňuje vytvořit znalostní bázi aniž by bylo nutné vyvíjet celý systém od nuly. Aplikace může pracovat s modely běžícími na počítači i s externími poskytovateli dostupnými přes API.

Jednou z jeho hlavních výhod je, že odděluje různé komponenty systémuMůžete si vybrat jazykový model, poskytovatele vkládání a vektorovou databázi a také uspořádat dokumenty do pracovních prostorů. Tato flexibilita vám umožňuje nastavit cokoli od osobního asistenta až po sdílenou instalaci pro více uživatelů.

Instalace aplikace je však jen začátek. Pro spolehlivé odpovědi Model, připojení, dokumenty a oprávnění udělená agentům musí být správně nakonfigurovány..

AnythingLLM Desktop nebo Docker: Kterou verzi si vybrat?

Desktopová aplikace AnythingLLM Je určen primárně pro jednu osobu. Instaluje se jako běžná aplikace ve Windows, macOS nebo Linuxu a ukazuje se, že je to nejjednodušší možnost pro testování lokálních modelů, prohlížení dokumentů a používání agentů z vlastního počítače.

Docker je vhodnější, když k němu potřebujete přistupovat z prohlížeče, uchovávat aplikaci na serveru nebo ji sdílet s ostatními uživateli. Tato verze Umožňuje vám povolit účty, role a oprávnění. přístup do pracovních prostor.

Musíte se pečlivě rozhodnout, zda aktivovat režim pro více uživatelůPodle dokumentace AnythingLLM se instance, která přepne do tohoto režimu, nemůže později vrátit do režimu pro jednoho uživatele. Před jeho povolením si zálohujte data a ověřte, zda skutečně potřebujete samostatné účty.

Požadavky závisí hlavně na použitém modelu. AnythingLLM spotřebovává málo zdrojů při připojování k externímu API, ale Spuštění lokálního modelu může vyžadovat značné množství paměti RAM. nebo grafickou paměť. Jako obecnou referenci projekt doporučuje 16 GB RAM a osmijádrový procesor pro základní práci s lokálními modely, ačkoli skutečná spotřeba bude záviset na modelu, jeho kvantizaci a kontextovém okně.

Jak nainstalovat AnythingLLM do počítače

Instalace AnythingLLM Desktop zahrnuje stažení verze odpovídající vašemu operačnímu systému a dokončení průvodce počátečním nastavením. Během konfigurace si můžete vybrat jazykový model, poskytovatele vkládání a vektorovou databázi.

AnythingLLM obsahuje výchozí možnosti lokalizace, včetně LanceDB jako vektorové databáze. To vám umožní začít. zpracovávat dokumenty bez nasazení externí databázeMůžete také připojit různé služby, pokud potřebujete další infrastrukturu nebo ji již máte.

V Dockeru je nezbytné připojit trvalý svazek k cestě /app/server/storagePokud tak neučiníte, můžete při odstranění nebo opětovném vytvoření kontejneru ztratit dokumenty, nastavení a další data.

Lze nasadit základní lokální instalaci po oficiálním příkazu projektu a poté otevřít pomocí:

http://localhost:3001

Pokud chcete publikovat AnythingLLM na internetu, neměli byste jen otevřít jeho port. Nakonfigurujte HTTPS, ověřování, zálohy a reverzní proxy a udržujte obraz i hostitelský systém aktuální.

Jak propojit AnythingLLM s OpenAI a dalšími API

Chcete-li použít model přes API, otevřete nastavení AnythingLLM a přejděte do konfigurace poskytovatele jazyka. OpenAI má specifická integrace, kde je nutné zadat klíč API a vyberte si jeden z dostupných modelů.

Klíč použitý v API nemusí být nutně stejný jako předplatné ChatGPT. Používání modelů prostřednictvím API je účtováno a spravováno samostatně, proto je vhodné nastavit limity útrat a sledovat spotřebu.

AnythingLLM také nabízí poskytovatele Generická OpenAITato možnost umožňuje propojit služby, jejichž API je kompatibilní s formátem očekávaným OpenAI, obvykle zadáním základní adresy URL, klíče, identifikátoru modelu, kontextového okna a výstupní hranice.

Tuto konfiguraci můžete použít s kompatibilní bránou, jako je CometAPI, za předpokladu, že nabízí koncový bod podporovaný službou AnythingLLM. V takovém případě musíte použít přesnou adresu URL a identifikátor modelu poskytnutý dodavatelem. Ne všechny služby inzerované jako kompatibilní implementují stejné funkce, zejména streamování a používání nástrojů.

Nikdy nezveřejňujte svůj skutečný klíč ani jej neuvádějte do snímků obrazovky. Pokud máte podezření, že byl zveřejněn, zrušte jej a vytvořte nový z řídicího panelu poskytovatele.

Jak se připojit k Ollamě při použití Dockeru

Pokud jsou AnythingLLM Desktop a Ollama spuštěny na stejném počítači, aplikace dokáže automaticky detekovat lokální adresu:

http://127.0.0.1:11434

Situace se mění, pokud je AnythingLLM uvnitř Dockeru. V tom případě localhost Odkazuje na samotný kontejner a nikoli na hostitelský počítač, na kterém běží Ollama.

Ve Windows a macOS byste měli zkusit:

http://host.docker.internal:11434

V Linuxu dokumentace AnythingLLM doporučuje použití:

http://172.17.0.1:11434

Adresa se může změnit, pokud jste upravili síť Docker. Také ověřte, zda je spuštěná Ollama, zda byl stažen model a zda server povoluje připojení ze správné adresy. Nezveřejňujte port Ollama bez ověření a dalších bezpečnostních opatření.

Jak přidat dokumenty a konfigurovat RAG

Pracovní prostory umožňují oddělit dokumenty, pokyny a konverzace podle projektu. V prostředí s více uživateli budou dokumenty přidané prostřednictvím RAG dostupné všem s přístupem k odpovídajícímu pracovnímu prostoru, proto byste si měli před přidáním důvěrných informací zkontrolovat jejich oprávnění.

AnythingLLM umožňuje pracovat s dokumenty dvěma způsoby: můžete je připojit přímo k vláknu a zahrnout tak jejich obsah do kontextu modelu, nebo je zpracovat pomocí RAG pro... rozdělte je na fragmenty a vyhledejte pouze ty, které se nejvíce vztahují k dané otázce.

Připojení celého textu může poskytnout více kontextu, ale spotřebovává více tokenů a je omezeno oknem podporovaným modelem. Soubory RAG jsou vhodnější pro velké kolekce, ačkoli kvalita bude záviset na výstřižcích, modelu vkládání, dotazu a nastavení vyhledávání.

Pouhé uložení souboru do správce dokumentů nestačí. Pokud chcete, aby byl dostupný prostřednictvím RAG, musíte jej přidat do pracovního prostoru a zpracovat ho tak, aby se vygenerovaly jeho vnoření.

Pokud AnythingLLM nenajde informace, o kterých víte, že tam jsou, zkontrolujte tyto možnosti:

• Práh podobnosti: Velmi restriktivní hodnota může zahodit relevantní fragmenty.
• Maximální počet fragmentů: určuje, kolik načteného kontextu se odešle do modelu.
• Režim dotazu: Omezuje odpovědi na obsah nacházející se v dokumentech.
• Změna pořadí: Může to zlepšit výběr výsledků výměnou za větší objem zpracování.
• Model vkládání: Musí být vhodný pro daný jazyk a typ obsahu.

Neexistuje dokonalá prahová hodnota pro všechny kolekce. Položte několik otázek, na které znáte odpovědi, a upravte nastavení porovnáním načtených fragmentů.

Jak používat agenty AnythingLLM

Agenti umožňují modelu používat nástroje nad rámec pouhého generování textu. V závislosti na konfiguraci mohou vyhledávat v dokumentech, dotazovat se na webu, extrahovat obsah ze stránek, vytvářet grafiku, ukládat soubory nebo provádět další dostupné akce.

U některých modelů se budete muset přihlásit zadáním @agent následovaný požadavkem. Pokud poskytovatel podporuje automatické používání nástrojů, chat může přímo přejít do režimu agenta. Chcete-li relaci zahájenou tímto způsobem ručně ukončit, můžete použít /exit.

Kompatibilita závisí na modelu a dodavateli. Model, který správně reaguje ve standardním chatu, nemusí nutně znamenat, že bude spolehlivě spouštět nástroje. U generických dodavatelů může být také nutné explicitně povolit podporu pro volání nástrojů.

Před udělením přístupu k externím souborům, databázím nebo službám omezte oprávnění a otestujte agenta s nepodstatnými daty. Agent by mohl instrukci špatně interpretovat, opakovat akci nebo použít jiný nástroj, než se očekávalo.

Jak vytvářet vlastní dovednosti a automatizace

AnythingLLM umožňuje rozšířit agenty o vlastní dovednosti. Dovednost se může připojit k API, dotazovat databázi nebo odeslat požadavek na webhook ze služeb jako Make nebo Zapier.

To umožňuje vytvářet procesy, jako je dotazování dokumentů a příprava dat potřebných k aktualizaci listu, registraci úkolu nebo odeslání oznámení. Není však vhodné dávat modelu možnost přímo provádět nevratné akce.

Pro citlivé transakce použijte pracovní postup s lidským potvrzením. Agent může připravit návrh, ale před smazáním informací, odesláním sdělení, úpravou důležitých záznamů nebo zahájením platby by měla osoba výsledek ověřit.

Měli byste také zkontrolovat veškeré dovednosti stažené z externích zdrojů. Tato rozšíření mohou spouštět kód a přistupovat k datům poskytnutým agentem. AnythingLLM ve výchozím nastavení zakazuje stahování určitých komunitních balíčků právě kvůli tomuto riziku.

Jak vylepšit odpovědi a opravit chyby

Pokud model nereaguje, nejprve zkontrolujte URL adresu poskytovatele, platnost klíče, přesný identifikátor modelu a protokoly AnythingLLM. V Dockeru byste měli také zkontrolovat propojení mezi kontejnerem a všemi službami nainstalovanými na hostitelském počítači.

Pokud jsou odpovědi oříznuty, zkontrolujte kontextové okno a maximální počet výstupních tokenů. Tyto hodnoty musí respektovat limity použitého modelu. Jejich zvýšení v AnythingLLM nerozšiřuje skutečné možnosti API.

Pokud odpovědi nepoužívají dokumenty správně, vyzkoušejte režim dotazování, omezte příliš vágní otázky a zkontrolujte načtené úryvky. Dočasné vypnutí omezení prahu podobnosti vám může pomoci zkontrolovat, zda systém nezahazuje užitečné informace.

Abyste mohli zpracování udržet v rámci stroje, musíte použít lokální model, lokálního poskytovatele vkládání a lokální vektorovou databázi. Budete se také muset vyhnout vyhledávání na webu, externím API a jakýmkoli možnostem, které odesílají informace mimo stroj. Pouze za těchto podmínek lze proces považovat za v podstatě offline.

AnythingLLM se může stát velmi užitečným nástrojem pro konzultace s manuály, organizaci dokumentace nebo vytváření interních průvodců. Jeho hlavní výhoda nespočívá pouze v propojení mnoha modelů, ale v tom, že umožňuje každému uživateli kombinovat model, dokumenty a nástroje, které skutečně potřebuje. Aby byl systém spolehlivý, je vhodné začít s malým prostorem, ověřit načtené zdroje a rozšiřovat oprávnění agentů až po otestování pracovního postupu.