Ako prepojiť LobeHub s Ollamou: Sprievodca pre lokálnych LLM

LobeHub vám umožňuje spravovať lokálne modely Ollama s profesionálnym rozhraním a bez nákladov na tokeny.
Konfigurácia vyžaduje úpravu premenných prostredia, ako napríklad OLLAMA_ORIGINS, aby sa predišlo blokovaniu CORS.
Rýchlosť odozvy je možné optimalizovať úpravou doby zotrvania modelu na GPU.
Kompatibilita s rozhraním OpenAI API uľahčuje migráciu aplikácií z cloudu do lokálnych prostredí.

Ak vás fascinuje svet umelej inteligencie, ale trochu váhate s uvoľnením svojich dát do cloudu alebo nechcete sledovať, koľko centov stojí každý token, ste na správnom mieste. Kombinácia LobeHub a Ollama Je to v podstate sen každého nadšenca súkromia a technickej kontroly, ktorý vám umožňuje nastaviť si vlastné riadiace centrum LLM na vašom vlastnom počítači.

Najlepšie na tom je, že na spustenie a prevádzku nemusíte byť systémový expert. LobeHub integráciu urobil tak bezproblémovou, že môžete prejsť z modelu OpenAI alebo Claude na lokálny model, ako napríklad Lama 3.1 alebo Mistral bez toho, aby si všimli zmenu v rozhraní, pričom si vždy zachovávajú bezchybný a profesionálny používateľský zážitok.

LocalAI vs Ollama: Ktorý si vybrať ako lokálny server?

Súvisiaci článok:

LocalAI vs Ollama: Kompletný sprievodca výberom lokálneho servera AI

Čo presne je Ollama a ako to súvisí s LobeHub?

Ollama je mimoriadne výkonné prostredie určené pre lokálne spúšťať rozsiahle jazykové modely (LLM)Namiesto spoliehania sa na vzdialené servery sa spracovanie vykonáva na vašom vlastnom GPU alebo CPU. LobeHub medzitým funguje ako vizuálna a organizačná vrstva a bezproblémovo sa integruje s Ollamou, takže sa nemusíte zakaždým trápiť s terminálom, keď sa chcete porozprávať s umelou inteligenciou.

Exkluzívny obsah – kliknite sem Ako používať Word na Macu?

Táto dvojica vám umožňuje využiť výhody najmodernejších modelov, ako napríklad Gemma 2 alebo DeepSeek priamo prostredníctvom intuitívneho rozhrania chatu. LobeHub navyše zjednodušuje správu týchto modelov a umožňuje vám ich stiahnuť prostredníctvom jednoduchého upozornenia v aplikácii alebo použiť príkazový riadok, ak uprednostňujete úplnú kontrolu nad procesom inštalácie.

Súvisiaci článok:

Ako prepojiť LibreChat s Ollamou a mať lokálnu umelú inteligenciu

Sprievodca nastavením podľa vášho operačného systému

Viacobrazovkové nastavenie vývojára doma, ilustrujúce pokročilý pracovný postup správy LLM.

Aby všetko prebehlo hladko, prvým krokom je Inštalácia Ollamy vo Windowse alebo váš preferovaný systém. V závislosti od použitého zariadenia sa postup mierne líši, ale vždy je jednoduchý:

V systéme macOS: Po nainštalovaní aplikácie je nevyhnutné nakonfigurovať potrebné premenné prostredia a reštartovať program, aby s ňou LobeHub mohol komunikovať.
V systéme Windows: Systém dedí používateľské premenné. Je potrebné úplne zatvoriť Ollamu pomocou ikony na systémovej lište, upraviť systémové premenné v ovládacom paneli a reštartovať službu.
V Linuxe: Vo všeobecnosti sa to riadi prostredníctvom systemdBudete musieť upraviť službu pomocou príkazu systemctl edit ollama.service, pridajte premenné v sekcii [Service], uložte a znova načítajte systémového démona.
Cez Docker: Ak uprednostňujete kontajnery, môžete spustiť Ollamu a LobeHub pomocou príkazov Dockeru, pričom premenné prostredia definujete priamo v inštrukcii na vykonanie.

Ako vytvoriť AI asistenta bez napísania jediného riadku kódu pomocou Dify

Súvisiaci článok:

Ako prepojiť Dify s Ollamou a vytvoriť lokálnu, súkromnú umelú inteligenciu

Stena CORS: Konfigurácia vzdialeného prístupu

Ollama je štandardne veľmi prísna, čo sa týka bezpečnosti, a povoľuje pripojenia iba z lokálneho počítača. Ak chcete, aby LobeHub (najmä ak beží na Dockeri) mal prístup k modelom, musíte nakonfigurovať prístup z viacerých zdrojovNa to je nevyhnutné definovať premennú OLLAMA_ORIGINS.

Ak sa chcete vyhnúť komplikáciám a povoliť plný prístup, môžete nastaviť hodnotu ako «*»V ideálnom prípade by však mali byť špecifikované povolené domény. Podobne aj premenná OLLAMA_HOST Je to kľúčové: ak používate 0.0.0.0Služba bude počúvať na všetkých sieťových rozhraniach, čo uľahčí pripojenie iných počítačov alebo kontajnerov k portu. 11434.

Exkluzívny obsah – kliknite sem Ako zmením predvolený jazyk v hre Ball Blast?

Pokročilé riadenie modelov a výkonu

Nie všetky modely sú rovnaké a ani nespotrebúvajú rovnaké množstvo energie. Ollama ponúka obrovskú knižnicu, kde si môžete vybrať ten, ktorý najlepšie vyhovuje vášmu hardvéru. LobeHub je už súčasťou balenia. predkonfigurované s najobľúbenejšímiPreto vám nástroj pri prvom výbere navrhne ich automatické stiahnutie.

Pre technicky zdatnejších existujú kritické parametre pre zrýchliť Ollamu a zlepšiť výkon zo skúsenosti. Napríklad premenná OLLAMA_KEEP_ALIVE Toto určuje, ako dlho zostane model načítaný v pamäti GPU. Ak si všimnete, že prvá odpoveď trvá večnosť (známy čas inicializácie), môžete túto hodnotu zvýšiť alebo ju nastaviť na -1, aby sa model nikdy nestiahol, čím sa eliminuje latencia v následných požiadavkách.

Vývojárske programovanie na MacBooku Pro s kódom na obrazovke a dvoma monitormi

Súvisiaci článok:

Ako sa pripojiť k programu Continue s Ollama a programovať s lokálnou umelou inteligenciou

Implementácia pre vývojárov a automatizácia

Softvérový vývojár pracujúci vo svojej domácej kancelárii s dvoma monitormi a zachytáva podstatu lokálneho ovládania pomocou umelej inteligencie.

Ak ste programátor, knižnica JavaScript od Ollamy je klenotom. Umožňuje vám používať ollama.chat() za vedené rozhovory a ollama.generate() Pre jedinečné odpovede. Na získanie štruktúrovaných údajov bez chýb je najlepšie použiť zodToJsonSchemazabezpečenie toho, aby AI vrátila platný, typovaný JSON.

Exkluzívny obsah – kliknite sem Kompletný sprievodca prevádzkyschopnosťou od spoločnosti Kuma: Efektívne monitorujte svoju infraštruktúru

Ollama je navyše kompatibilná s rozhraním OpenAI API. To znamená, že môžete použiť OpenAI SDK jednoduchou zmenou základná URL na vašu lokálnu adresu. Toto je obrovská úľava, ak už máte napísaný kód a chcete ho migrovať do lokálneho prostredia bez toho, aby ste museli prepisovať každú funkciu volania modelu.

Od správy vkladaní cez vytváranie RAG systémov až po používanie multimodálnych modelov, ktoré analyzujú obrázky, je všestrannosť dokonalá. Pamätajte, že limitom je hardvér: pokus o načítanie 70B modelu na počítači s 8 GB RAM bude mať za následok... katastrofálny výkon alebo pri neočakávanom ukončení prevádzky.

Získanie úplnej kontroly nad vašou umelou inteligenciou kombináciou LobeHub a Ollama vás oslobodí od mesačných poplatkov a obáv o súkromie. Správnou konfiguráciou premenných prostredia, správou životných cyklov modelu a optimalizáciou pamäte GPU premeníte svoj počítač na robustný server umelej inteligencie schopný spracovať všetko od jednoduchých chatov až po automatizované pracovné postupy a pokročilý vývoj softvéru.

Súvisiaci článok:

Ako prepojiť Dify s Ollamou a vytvoriť lokálnu umelú inteligenciu

Alberto Navarro

Som technologický nadšenec, ktorý zo svojich „geekovských“ záujmov urobil povolanie. Strávil som viac ako 10 rokov svojho života používaním špičkových technológií a hraním so všetkými druhmi programov z čistej zvedavosti. Teraz som sa špecializoval na počítačovú techniku a videohry. Je to preto, že už viac ako 5 rokov píšem pre rôzne webové stránky o technológiách a videohrách a vytváram články, ktoré sa snažia poskytnúť vám potrebné informácie v jazyku, ktorý je zrozumiteľný pre každého.

Ak máte nejaké otázky, moje znalosti siahajú od všetkého, čo súvisí s operačným systémom Windows, ako aj Androidom pre mobilné telefóny. A môj záväzok je voči vám, vždy som ochotný venovať pár minút a pomôcť vám vyriešiť akékoľvek otázky, ktoré môžete mať v tomto internetovom svete.