Kako povezati Dify z Ollamo za ustvarjanje lokalne, zasebne umetne inteligence

To je mamljivo Zgradite svoj ekosistem umetne inteligenceVendar pa obstaja skrb, da bi vaši podatki lahko bili poslani na neznane strežnike. Eden od načinov, kako se temu izogniti, je Povežite Dify z OllamoKombinacija deluje: Dify je neverjetno prilagodljiva platforma za razvoj aplikacij LLM, medtem ko je Ollama standard za izvajanje lokalnih modelov.

Za dosego tega vam ni treba biti guru programiranja, saj Dify ponuja vizualni vmesnik, ki vam omogoča oblikovanje kompleksnih delovnih procesov, ne da bi se dotaknili ene same vrstice kode. Če pa uživate v eksperimentiranju s programsko opremo, boste odkrili, da je njena sposobnost ... izvoz v Python To je pravi biser za dvig vaših projektov na višjo raven.

Kaj točno sta Dify in Ollama?

Za začetek povezovanja Difyja z Ollamo iz nič, je pomembno vedeti, kaj je vsak od njih. Dify Je orodje za Odprtokodni LLMO-i Služi kot poveljniški center. Omogoča vam integracijo različnih modelov, upravljanje baz znanja in ustvarjanje agentov, ki dejansko delujejo. Najboljše od vsega pa je, da vas ne omejuje na en sam model; po potrebi lahko kombinirate storitve v oblaku z modeli na lokaciji.

Po drugi strani pa Ollama To je del, ki je odgovoren za dvignite modele (kot so Llama 3, Gemma ali DeepSeek) neposredno na vašem računalniku ali strežniku. Z lokalnim izvajanjem sklepanja se izognete plačilu mesečnih stroškov za vsak ustvarjen žeton in zagotovite varnost občutljivih podatkov vašega podjetja. ostanite v svojem omrežju.

Bistveni koraki za povezavo Difyja z Ollamo

Prvi korak je priprava Llame. Prenesite jo z uradne spletne strani in zaženite želeni model prek terminala. Če želite na primer preizkusiti najnovejšo različico Llame, preprosto zaženite ukaz ollama teči lama3.2Ključnega pomena je, da strežnik Ollama posluša na vseh vmesnikih; za to konfigurirajte okoljsko spremenljivko OLLAMA_HOST=0.0.0.0še posebej, če boste uporabljali Docker.

Za Dify je najlažji način uporaba Docker Desktop. Samo klonirati morate uradni repozitorij GitHub in se pomakniti do mape. docker, kopirajte vzorčno datoteko .env.example kot .env in izvršiti docker sestavi -dKo se kontejnerji zaženejo, boste lahko dostopali do skrbniške plošče prek brskalnika na lokalni gostitelj.

Nastavitev povezave: Trik z osnovnim URL-jem

Tukaj se mnogi zataknejo, ko poskušajo povezati Dify z Ollamo. Ker Dify deluje znotraj Dockerjevega vsebnika, ne more neposredno videti »localhost« vašega dejanskega računalnika. Če želite to rešiti, morate v razdelku ponudnikov modelov v Difyju dodati Ollamo in uporabiti naslov http://host.docker.internal:11434Ta most omogoča komunikacijo Dify API-ja z mehanizmom Ollama, nameščenim v sistemih Windows, Mac ali Linux.

Pri dodajanju modela ne pozabite določiti točno ime iz modela, ki ste ga prenesli v Ollami (na primer, llama3), prilagodite velikost konteksta in omejitev žetonov glede na zmogljivosti vaše strojne opreme, da preprečite sesutje ali počasno odzivanje sistema.

Izvajanje RAG: Vaša lastna baza znanja

Ena najmočnejših funkcij Difyja je Recall Augmented Generation (RAG). To umetni inteligenci omogoča, da se ne odziva le s tem, kar že ve, temveč se posvetuje tudi z drugimi viri. specifični dokumenti ki jih posredujete. Priročnike lahko naložite v obliki HTML ali PDF, Dify pa bo poskrbel za njihovo razdelitev na obvladljive dele, imenovane kosi.

Ti kosi se pretvorijo v vektorje z uporabo modela vdelava (ki so lahko tudi iz Ollame) in so shranjeni v zbirki podatkov, kot je Weaviate. Ko postavite vprašanje, sistem v vaših dokumentih poišče najustreznejše informacije in jih posreduje LLM-ju, da pripravi osnutek odgovora. Na podlagi resničnih dogodkov in ne v halucinacijah.

Od preprostega klepetalnega robota do naprednega delovnega procesa

Če vam običajni klepet ne ustreza, vam Dify omogoča ustvarjanje delovni tokovi z vizualno logiko. Predstavljajte si sistem, ki najprej razvrsti uporabnikovo vprašanje: če gre za tehnično vprašanje, ga pošlje strokovnjaku za kodiranje; če gre za administrativno vprašanje, ga preusmeri v bazo znanja podjetja. Vse to se naredi prek odločitvena vozlišča (IF/ELSE) in specializirana vozlišča LLM.

Ta pristop je veliko natančnejši, ker lahko pišete posebne pozive za vsako fazo procesa. Model lahko konfigurirate tako, da je jedrnat, vključite primere kode ali omogočite omejevanje, če odgovora ni v dokumentaciji, s čimer dosežete profesionalna uporabniška izkušnja.

Reševanje pogostih težav in optimizacija

Pri poskusu povezave Difyja z Ollamo lahko naletite na nekaj težav. Če se prikaže napaka »povezava zavrnjena«, preverite, ali vaš požarni zid blokira vrata. 11434 in da je Ollama dejansko aktivna. Kar zadeva zmogljivost, če opazite, da se umetna inteligenca premika s polžjo hitrostjo, pojdite v konfiguracijo Dockerja in dodelite več RAM-a in procesorja (vsaj 8 GB, če je mogoče).

Druga kritična točka so gonilniki grafične kartice. Za delovanje Ollame potrebuje dostop do grafične kartice. Če uporabljate NVIDIA, se prepričajte, da imate posodobljeni gonilniki In če vse izvajate v Dockerju, konfigurirajte nvidia-container-runtime v datoteki daemon.json tako da lahko kontejnerji izkoristijo moč strojne opreme.

Odlična ideja za povezavo Difyja z Ollamo! Integracija teh orodij vam omogoča izgradnjo robustnega sistema umetne inteligence, kjer ... zasebnost podatkov To je prednostna naloga, obratovalni stroški pa so čim manjši. Z obvladovanjem povezave med Difyjevo orkestracijo in Ollaminim lokalnim napajanjem imate infrastrukturo, ki se lahko razširi od preprostega namiznega pomočnika do kompleksnega sistema za upravljanje znanja za katero koli profesionalno okolje.