Kompletný sprievodca zdieľaním Open WebUI a Ollama vo vašej lokálnej sieti

¿Ako zdieľam Open WebUI s ostatnými používateľmi v mojej lokálnej sieti? Som si istý, že sa vám to už stalo: chcete mať výkon pokročilého jazykového modelu, ale predstava, že vaše dáta skončia na serveroch veľkej korporácie, vás naháňa hrôzostrašne. Tu sa uplatňuje dynamická dvojica Otvorte webové rozhranie a Ollamu, kombinácia, ktorá vám umožňuje nastaviť chatovací systém identický s OpenAI, ale bežiaci výlučne na vašom vlastnom hardvéri, bez platenia centa za token a s úplnou kontrolou nad vaším súkromím.

Najlepšie na tom je, že na jeho spustenie a prevádzku nemusíte byť počítačový guru. Základné nastavenie je síce hračka, ale skutočná výzva nastáva, keď chcete, aby ho mohol používať aj zvyšok vašej rodiny alebo spoluhráči. prístup k webovej stránke z vlastných zariadeníV tomto článku si rozoberieme všetko od najjednoduchšej inštalácie až po najzložitejšie sieťové triky, aby bol váš server s umelou inteligenciou prístupný v celom dome alebo kancelárii.

O čom presne hovoríme, keď hovoríme o Open WebUI a Ollame?

Aby sme sa vyhli nedorozumeniam, je dôležité pochopiť, že hovoríme o dvoch rôznych častiach, ktoré do seba dokonale zapadajú. Ollama je motorProgram je zodpovedný za správu modelov (týchto súborov GGUF, ktoré sú ako súbory .mp3 umelej inteligencie), ich načítanie do pamäte a vykonávanie výpočtov. Na druhej strane, Otvorené webové rozhranie je viditeľná tvár, prepracované webové rozhranie, ktoré nám umožňuje chatovať, spravovať používateľov a organizovať dokumenty.

Táto architektúra je skvelá, pretože umožňuje, aby bola vrstva chatu nezávislá od vykonávateľa. Komunikujú cez HTTP, zvyčajne cez port 11434. Veľkou výhodou tejto kombinácie je, že je úplne zadarmo a s otvoreným zdrojovým kódom, čo vám umožňuje spúšťať modely ako Llama 3.2 alebo DeepSeek bez toho, aby čo i len jeden bit opustil vašu lokálnu sieť.

Rýchle nastavenie pre začatie chatovania

Ak chcete ísť rovno k veci, najrýchlejší spôsob je použiť Docker. Tí, ktorí už majú Ollamu nainštalovanú na svojom systéme, jednoducho spustia kontajner Open WebUI. Štandardný príkaz obsahuje mapovanie portu 3000 a príznak. host.docker.internal:host-gatewayčo je tajomstvo umožnenia kontajneru komunikovať so službou Ollama bežiacou na hostiteľovi, najmä na systémoch Linux.

Pre tých, ktorí hľadajú niečo robustnejšie, Docker Compose je ideálnou voľbouUmožňuje vám definovať obe služby v jednom YAML súbore, čím sa zabezpečí, že interná sieť Dockeru automaticky rozlíši názvy. Týmto spôsobom, namiesto použitia zložitých IP adries, môže Open WebUI volať Ollamu jednoducho pomocou URL adresy. http://ollama:11434Vďaka tomu je konfigurácia oveľa stabilnejšia a ľahšie sa udržiava z dlhodobého hľadiska.

Ako otvoriť prístup ostatným používateľom vo vašej lokálnej sieti

Tu sa väčšina ľudí zasekne. Systém štandardne reaguje iba na localhostTo znamená, že k nej má prístup iba počítač, na ktorom je umelá inteligencia (AI) umiestnená. Aby sme túto bariéru prekonali, musíme najprv zabezpečiť, aby Ollama počúvala na všetkých rozhraniach. To sa dosiahne úpravou služby systemd a pridaním premennej prostredia. OLLAMA_HOST=0.0.0.0, čo núti server, aby sa neobmedzoval iba na internú IP adresu.

Ak používate Windows s WSL2, veci sa trochu komplikujú, pretože WSL2 má vlastnú virtuálnu sieť. V tomto prípade musíte vytvoriť proxy portu pomocou netsh v PowerShelle s oprávneniami správcu. V podstate hovoríme systému Windows, že všetka prevádzka prichádzajúca na port 8080 fyzického počítača by mala byť presmerovaná na internú IP adresu inštancie Ubuntu vo WSL2. Nezabudnite tiež otvorte pravidlo pre prichádzajúce správy v bráne firewall Program Windows Defender, inak systém zablokuje akýkoľvek pokus o externé pripojenie.

Optimalizácia hardvéru a akcelerácia GPU

Nemá zmysel mať krásne rozhranie, ak umelej inteligencii trvá večnosť, kým reaguje. Kľúč spočíva v Hardvérová akceleráciaAk máte grafickú kartu NVIDIA, na prístup k jadrám CUDA pre Docker je potrebný balík NVIDIA Container Toolkit. Pre používateľov Macu s procesorom Apple Silicon je trik v tom, spustiť Ollamu natívne a nie v Dockeri, pretože to vám umožňuje využiť výhody Metal GPU a dosiahnuť nekonečne vyššie rýchlosti tokenov za sekundu.

Pre používateľov AMD v systéme Linux riešenie zahŕňa použitie vyhradeného obrazu Docker s Podpora ROCmJe nevyhnutné sledovať využitie VRAM; ak sa pokúsite načítať model, ktorý je pre vašu kartu príliš veľký, systém ho uloží do systémovej pamäte RAM a rýchlosť prudko klesne, čím sa váš výkonný server zmení na niečo, čo pripomína počítač spred desiatich rokov.

Napájanie AI pomocou RAG, Pipelines a MCP

Open WebUI nie je len chatovacie okno; je to rozšíriteľná platforma. Jedným z jej klenotov je Natívna RAG (generácia s rozšírenou regeneráciou)Môžete nahrať vlastné súbory PDF, Word alebo Markdown a nástroj ich fragmentuje a uloží do vektorovej databázy s názvom ChromaDB. Keď potom položíte otázku, umelá inteligencia najprv prehľadá vaše dokumenty a na základe týchto informácií odpovie. skutočné a súkromné ​​informácie.

Ak chcete zájsť ešte o krok ďalej, sú tu Potrubia a funkciePipeliny sú externé služby Pythonu, ktoré dokážu filtrovať správy alebo fungovať ako smerovače. Funkcie na druhej strane umožňujú pridať do rozhrania tlačidlá na spúšťanie skriptov, ako je napríklad sumarizovanie textu a jeho odosielanie priamo do Notionu. Okrem toho príchod Protokol kontextu modelu (MCP) Umožňuje umelej inteligencii štandardizovaným spôsobom interagovať s externými nástrojmi, ako sú GitHub alebo Slack.

Zabezpečenie a pokročilý vzdialený prístup

Keď otvoríte svoj server pre ostatných používateľov siete LAN, bezpečnosť sa stáva prvoradou. Je to nevyhnutné. zakázať otvorené protokolovanie Po vytvorení administrátorského a používateľského účtu budete musieť zabrániť akémukoľvek votrelcovi vo vytvorení účtu vo vašej sieti. Pre tých, ktorí potrebujú prístup k sieti mimo svojho domova, sa odporúča neotvárať porty na smerovači, ale použiť [chýbajúce informácie – pravdepodobne samostatný, nesúvisiaci dokument alebo aplikáciu]. Tunel alebo Caddy Cloudflare spravovať HTTPS čistým a bezpečným spôsobom.

Ak počet používateľov narastie, SQLite môže začať mať problémy s výkonom. V takom prípade je najrozumnejšie migrovať na PostgreSQLktorý oveľa lepšie spracováva súbežnosť a zložité dotazy databázy konverzácií. Uchovávanie údajov v pomenovanom zväzku Docker je jediný spôsob, ako zabezpečiť, aby ste pri aktualizácii obrazu Open WebUI nestratili celú históriu chatu a kolekcie dokumentov.

Sprístupnenie lokálnej umelej inteligencie veľkej skupine ľudí si vyžaduje koordináciu konfigurácie servera, správy siete a optimalizácie hardvéru. Kombináciou flexibility Dockeru, sily Ollamy a všestrannosti Open WebUI je možné vybudovať súkromný, bezpečný a mimoriadne výkonný ekosystém, ktorý nie je závislý od žiadneho externého cloudu.