Ako zdieľať Open WebUI s ostatnými používateľmi vo vašej lokálnej sieti

¿Ako zdieľam Open WebUI s ostatnými používateľmi v mojej lokálnej sieti? Predstavte si, že máte vo svojej obývačke spustený pokročilý jazykový model bez toho, aby vaše dáta prechádzali servermi akejkoľvek veľkej technologickej spoločnosti. Vytvorenie súkromného prostredia s umelou inteligenciou je vďaka kombinácii... Otvorte webové rozhranie a Ollamuktoré spolu vytvárajú zážitok identický s ChatGPT, ale pod vašou absolútnou kontrolou.

Pre mnohých sa svet kontajnerov a hostingu môže spočiatku zdať trochu skľučujúci, ale akonáhle to pochopíte Docker je motor Všetko to zjednodušuje; veci jednoducho plynú prirodzene. Či už ho chcete používať na viacerých počítačoch doma alebo nastaviť asistenta pre svoj pracovný tím, kľúčom je vedieť, ako službu sprístupniť, aby sa k nej mohli pripojiť aj ďalšie zariadenia.

Čo je to vlastne tento ekosystém?

Aby sme sa vyhli zámene s názvami, je dôležité pochopiť, že hovoríme o dvoch rôznych častiach, ktoré do seba dokonale zapadajú. Ollama je motorProcesor je zodpovedný za sťahovanie modelov (ako napríklad Llama 3.2 alebo DeepSeek) a ich spustenie pomocou procesora alebo grafickej karty. Je to technická vrstva, ktorá vykonáva špinavú prácu so spracovaním tokenov.

Na druhej strane, Otvorené webové rozhranie je viditeľná tvárJe to prepracované, moderné webové rozhranie pre viacerých používateľov, ktoré sa pripája k Ollame. Bez neho by ste museli chatovať cez nudný terminál; s ním získate históriu chatu, správu dokumentov a responzívny dizajn, ktorý funguje skvele aj na mobilných zariadeniach.

Veľkou výhodou tejto kombinácie je úplné súkromieKeďže sa nespolieha na externé kľúče API ani fakturáciu tokenov, môžete experimentovať toľko, koľko chcete, bez obáv, že prekročíte svoj rozpočet alebo že si niekto prečíta vaše súkromné ​​​​výzvy.

Rýchla inštalácia a nasadenie pomocou Dockeru

Najrýchlejší spôsob, ako ho spustiť a spustiť, je cez Docker. Ak už máte Ollamu nainštalovanú vo svojom systéme, môžete spustiť Open WebUI pomocou príkazu, ktorý namapuje port kontajnera 8080 na port 3000 vo vašom počítači. Je dôležité použiť príznak –add-host=host.docker.internal:hostiteľská brána, najmä v systéme Linux, aby kontajner mohol komunikovať so serverom Ollama bežiacim na hostiteľovi.

Pre tých, ktorí hľadajú niečo serióznejšie a profesionálnejšie, Docker Compose Je to víťazná možnosť. Umožňuje vám definovať obe služby v jednom súbore YAML a spravovať zdieľané siete a pomenované zväzky. To zabezpečuje, že vaše konverzácie a prostredia prežijú aj keď kontajner odstránite alebo aktualizujete, čím zabránite strate všetkej nahromadenej práce.

Ak pracujete v obchodnom prostredí, máte k dispozícii Helm grafy na nasadenie v Kubernetesčo umožňuje masívnu škálovateľnosť a oveľa robustnejšiu správu perzistentného úložiska.

Ako otvoriť prístup ostatným používateľom vo vašej sieti

Tu sa mnohí zaseknú. Ak štandardne zadáte localhost:3000Webovú stránku vidíte iba vy. Aby k nej mal prístup váš partner, kolega alebo iný počítač, musíte použiť lokálna IP adresa z vášho servera (napríklad http://192.168.1.15:3000Ak sa nenačíta, je veľmi pravdepodobné, že port blokuje firewall systému Windows alebo Ubuntu.

Ak chcete veci posunúť na vyššiu úroveň a nezávisieť od zmeny IP adries, môžete použiť reverznú proxy. Caddy je klenot Vďaka svojej jednoduchosti môžete s päťriadkovým súborom získať automatický SSL certifikát a pristupovať k nemu pomocou čistej domény. Ak nemáte kontrolu nad DNS, Tunely Cloudflare Sú záchranou, pretože sprístupňujú web bez nutnosti otvárať porty na smerovači.

Dôležitý bezpečnostný tip: nikdy nezverejňujte toto na otvorenom internete bez ochrany. Hoci je registrácia používateľov štandardne povolená, ideálne by ste to mali urobiť. zakázať možnosť registrácie v administračnom paneli po vytvorení potrebných účtov, aby ste zabránili akejkoľvek neznámej osobe vniknúť na váš server.

Zrýchlenie výkonu pomocou grafických kariet

Nie je nič frustrujúcejšie ako umelá inteligencia, ktorá reaguje slimačím tempom. Aby sa tomu predišlo, je nevyhnutné, aby Ollama detekuje vašu grafickú kartu (GPU)Ak máte grafickú kartu NVIDIA, potrebujete NVIDIA Container Toolkit, aby engine mohol pristupovať k pamäti VRAM. V prípade AMD sa v systéme Linux používa ROCm na dosiahnutie konkurencieschopného výkonu.

Pre používateľov Macu je tu jeden dôležitý detail: prevádzkuje Ollamu natívne A nie v rámci Dockeru. Je to preto, že Docker v systéme macOS neumožňuje priamy prístup k grafickej karte Metal a ak ho umožníte, model pobeží na procesore, čím sa váš výkonný čip M2 alebo M3 premení na zastaraný počítač.

V závislosti od vášho hardvéru sa rýchlosť bude líšiť. Čip Apple Silicon dokáže dosiahnuť... 50 žetónov za sekundu s menšími modelmi ako Llama 3.2, zatiaľ čo hustejšie modely budú vyžadovať viac pamäte RAM a trpezlivosti, ale vždy budú rýchlejšie ako akákoľvek softvérová emulácia.

Poháňanie AI pomocou RAG, funkcií a MCP

Open WebUI nie je len okno chatu; je to rozšíriteľná platforma. Jednou z jej najlepších funkcií je... natívny RAG (Rozšírené generovanie vyhľadávaním). V podstate môžete nahrať vlastné súbory PDF alebo dokumenty programu Word a umelá inteligencia ich použije ako vedomostnú základňu. Zadaním symbolu # v chate môžete vyvolať konkrétnu kolekciu dokumentov pre ultra presné odpovede.

Ak trochu ovládate Python, môžete vytvoriť Funkcie a kanályFunkcie vám umožňujú pridať do rozhrania vlastné tlačidlá alebo filtrovať obsah správ (napríklad na odstránenie citlivých e-mailov skôr, ako sa dostanú do modelu). Kanálové prepojenia na druhej strane fungujú ako externé smerovače, ktoré dokážu prepojiť váš chat s inými nástrojmi.

Okrem toho, príchod Protokol kontextu modelu (MCP) Umožňuje vašej lokálnej umelej inteligencii interagovať s externými nástrojmi ako Slack, GitHub alebo s vašimi vlastnými lokálnymi súbormi štandardizovaným spôsobom, čím sa chat premení na skutočne produktívneho agenta.

Riešenie bežných problémov

Najčastejšou chybou je, že sa Open WebUI načíta, ale zoznam modelov je prázdny. Stáva sa to preto, lebo kontajner sa nedostane do Ollamy. Riešením je zvyčajne konfigurácia premennej. OLLAMA_BASE_URL správne a zabezpečiť, aby Ollama nebola prepojená iba s 127.0.0.1, ale do 0.0.0.0 akceptovať externé pripojenia.

Pokiaľ ide o RAG, ak si všimnete, že citácie nie sú presné, skúste zmenšiť veľkosť fragmentu (veľkosť chunku). Ak sú chunky príliš veľké, môžu zahltiť kontextové okno malých modelov, čo spôsobí, že umelá inteligencia stratí prehľad o pôvodnej otázke.

Ak chcete udržiavať systém aktuálny, jednoducho vykonajte docker pull z najnovšieho obrázka a reštartujte kontajner. Vďaka trvalé objemy dátPočas aktualizácie nestratíte ani jednu správu ani žiadne zo svojich vlastných nastavení.

Mať doma server s umelou inteligenciou je neuveriteľný zážitok, ktorý kombinuje súkromie, možnosť učiť sa o infraštruktúre a všestrannosť otvorených modelov. Od základnej inštalácie pomocou príkazu Docker až po pokročilú konfiguráciu s proxy a znalostnými databázami RAG sa Open WebUI prezentuje ako dokonalý nástroj pre tých, ktorí sa nechcú spoliehať na cloud a radšej spravujú svoj vlastný výpočtový výkon v lokálnej sieti.