Jak propojit Flowise s Ollamou: Kompletní průvodce vytvářením lokálních LLM programů

Pokud jste někdy měli pocit, že tvorba aplikace s umělou inteligencí je kvůli nákladům na kód nebo API otravná, jste na správném místě. Flowise se prezentuje jako dokonalý nástroj Pro ty z nás, kteří chtějí sílu LLM, ale bez nutnosti potýkat se stovkami řádků Pythonu, což nám umožňuje vizuálně navrhovat pracovní postupy.

Kombinací tohoto klenotu s Ollamo, dosáhli jsme soukromého ekosystému kde vše běží na našem vlastním hardwaru. To znamená, že si můžete na vlastních souborech nastavit cokoli od jednoduchého chatu až po komplexní systém otázek a odpovědí a zároveň si zachovat svrchovanost vašich dat a zapomenout na placení měsíčních poplatků.

Příprava terénu: Požadavky a Docker

Než skočíme do bazénu, musíme se ujistit, že vybavení zvládne zátěž. V ideálním případě bychom měli mít alespoň 16 GB RAMI když 8 GB by stačilo. Pokud máte Grafický procesor NVIDIAVýkon prudce vzroste, ale pokud ne, procesor si práci zajistí, i když pomaleji. Je zřejmé, že v systému musíte mít nainstalovaný Docker.

Nejčistší způsob, jak to nastavit, je pomocí souboru docker-compose.ymlV tomto souboru definujeme dvě hlavní služby: jednu pro Ollamu a jednu pro Flowise. Je nezbytné nakonfigurovat objemy dat Abyste při restartu kontejneru neztratili stažené modely ani pracovní postupy. Pokud používáte grafickou kartu (GPU), nezapomeňte přidat sekci pro rezervační zařízení aby Ollama mohla využít sílu grafické karty.

Spuštění a provoz ekosystému

Jakmile je nasazení spuštěno s docker compose up -dDalším krokem je vybavit Ollamu „mozkem“. Budeme si muset stáhnout konkrétní modely v závislosti na použití. Pro chatování, llama3.2 je vyvážená možnost a efektivní. Pokud však chceme, aby umělá inteligence četla dokumenty, potřebujeme model vkládání, tj. nomic-embed-text standard Doporučeno pro svou rychlost a přesnost.

K provedení těchto stahování používáme terminálové příkazy jako například docker exec ollama ollama pull llama3.2Je nezbytné pochopit, že model chatu a model vkládání Plní různé funkce: jedna generuje odpověď a druhá převádí text na matematické vektory, aby stroj mohl „vyhledávat“ informace.

Kritické připojení: Konfigurace a URL adresy

A právě zde se mnoho lidí zasekne. Pokud jsou Flowise a Ollama založeny na Dockeru, nemůžete je použít localhost Protože každý kontejner je jako ostrov. V sekci Pověření FlowisePři přidávání ChatOllama nebo Ollama Embeddings musíte použít URL adresu http://ollama:11434, s odkazem na název služby v souboru pro psaní.

Upozorňujeme, že pokud se z nějakého důvodu nacházíte Windows nebo MacOS Mimo standardní Docker síť můžete potřebovat http://host.docker.internal:8000A pokud jste uživatelem LinuxNezapomeňte, že výchozí brána je obvykle http://172.17.0.1:8000Pokud to neupravíte, Flowise se zasekne při pokusu zaklepat na dveře, které neexistují.

Vytvoření vašeho prvního jednoduchého chatbota

Pro ověření správnosti všech kabelů je nejlepší nastavit základní tok. Na plátně Flowise přetáhněte uzel ChatOllama a konverzační řetězecModel připojíme k řetězci, určíme, že máme použít llama3.2, a uložíme ho. Pokud při psaní zprávy obdržíte odpověď, Už jsi postavil most.

Pokud chcete, aby umělá inteligence byla méně obecná, můžete přidat uzel Systémová zprávaZde mu dodáte osobnost, například tím, že mu řeknete, aby se choval jako odborník na technickou podporu od vaší společnosti a buďte struční, vyvarujte se vymýšlení si věcí, když neznáte odpověď.

Zvládnutí RAG: Chatboti, kteří čtou vaše dokumenty

Skutečná magie se odehrává v RAG (Recovery Augmented Generation). Místo toho, aby umělá inteligence reagovala tím, co zná z běžného výcviku, nejprve prohledejte své soubory a poté napsat návrh odpovědi. K tomu potřebujeme vícekrokovou architekturu: zavaděč dokumentů, rozdělovač textu, úložiště polí a jazykový model.

El Rekurzivní dělič textu znaků Toto je zde klíčové. Doporučujeme velikost bloku 1000 znaků s překrytím 200. To zabraňuje zkrácení vět na polovinu a umožňuje umělé inteligenci mít dostatečný kontext. Pro uložení těchto dat můžete použít dočasnou paměť. Vektorové úložiště v paměti Pro testovací účely, ale pokud to myslíte vážně, nainstalujte Chroma nebo Qdrant v Docker Compose, aby informace zůstaly trvalé.

Paměť, API a finální nasazení

Bot, který si zapomene, co jste řekli před dvěma větami, je frustrující. Abychom to napravili, propojili jsme uzel Vyrovnávací paměť do našeho vlákna konverzace. To umožňuje umělé inteligenci pamatovat si poslední výměny. Pokud potřebujete tuto paměť k přežití restartu serveru, nejlepší možností je integrace Redis v systému.

Nejlepší na Flowise je, že každý tok se automaticky stává REST APIURL koncového bodu můžete zkopírovat a spotřebovat ji z libovolné aplikace, nebo ještě jednodušší je použít vložitelný widget chatu které poskytuje Flowise. Stačí zkopírovat JavaScriptový skript na váš web a chytrého asistenta budete mít spuštěného během několika minut.

Řešení běžných problémů

Pokud si všimnete, že bot reaguje irelevantními věcmi, zkuste to snížit teplotu na 0.1Díky tomu je umělá inteligence doslovnější a lépe se drží dokumentů. Pokud se systém zpomalí, obraťte se na nvidia-smi pokud GPU funguje. V případech, kdy jsou PDF soubory obrovské, by Node.js mohl vyčerpat výkon; v takovém případě přidejte proměnnou prostředí NODE_OPTIONS=–max-old-space-size=4096 ve vaší konfiguraci Dockeru.

Na rozdíl od jiných nástrojů, jako je n8n, který je určen spíše pro automatizaci úloh, nebo Dify, který je robustnější, ale omezující, Flowise v tom vyniká. rychlé prototypování toků umělé inteligenceKombinací vizuální správy uzlů s lokálními možnostmi Ollamy získáte platformu schopnou zpracovat tisíce dotazů, aniž byste museli utratit jediné euro za cloudové kredity.