- Viktigheten av å konfigurere miljøvariabelen OLLAMA_HOST for å tillate eksterne tilkoblinger til den lokale serveren.
- Differensiering av basis-URL-er avhengig av om Dify kjører innebygd eller gjennom Docker-containere.
- Verifisering av nøyaktig samsvar mellom navnene på modellene som er installert i Ollama og Dify-konfigurasjonen.
- Juster brannmurtillatelser og nettverksinnstillinger for å forhindre blokkering på port 11434.
Å sette opp et kunstig intelligens-system hjemme kan virke som barnelek helt til du innser det. Dify klarer ikke å nå OllamaDenne situasjonen er veldig vanlig, spesielt når vi ønsker å holde dataene våre private og forhindre at informasjon sendes til skyen, og velger en lokal distribusjon som gir oss full kontroll over modellen.
Problemet ligger vanligvis i at Dify, som ofte kjører inne i en Docker-container, lever i sin egen lille, isolerte verden og ikke vet hvordan den skal finne Ollama, som kjører på vertsoperativsystemet. For å løse denne nettverksdragkampen trenger vi Juster et par skruer i konfigurasjonen av URL-ene og systemvariablene.
Forstå tilkoblingsscenarioet
Før du går amok med å prøve IP-adresser, er det viktig å vite hvor hvert program er installert. Hvis du kjører begge direkte på datamaskinen din, vil adressen http://localhost:11434 Det burde fungere uten problemer. De aller fleste brukere bruker imidlertid Docker for Dify, noe som endrer alt fullstendig.
Når Dify er i en beholder, localhost refererer til selve containeren. og ikke til PC-en din. Derfor vil det føre til en feilmelding om at tilkoblingen til localhost blir nektet. På Windows og macOS er den magiske løsningen å bruke URL-en. http://host.docker.internal:11434, som fungerer som en direkte bro til vertssystemet.
Hvis du er i et Linux-miljø, er det sannsynlig at host.docker.internal løser ikke automatisk. I dette tilfellet må du redigere Difys docker-compose.yaml-fil og legge til følgende instruksjon i tjenestedelen. ekstra_verter kobler host.docker.internal med host-gateway slik at containeren vet hvor den skal lete.
Mestertrikset: OLLAMA_HOST-variabelen
Selv med riktig URL kan Ollama fortsatt avvise deg. Som standard er Ollama veldig forsiktig og lytter bare til forespørsler som kommer fra samme datamaskin (127.0.0.1). For at Dify skal kunne gå inn fra containeren sin, må vi be Ollama om å være mer åpen.
Nøkkelen ligger i å konfigurere miljøvariabelen OLLAMA_HOST med verdien 0.0.0.0:11434Dette lar Ollama lytte på alle tilgjengelige grensesnitt, ikke bare på 127.0.0.1.
Det er viktig å nevne at det kan være risikabelt å åpne Ollama for alle grensesnitt hvis PC-en din er eksponert for et offentlig nettverk. Hvis du er en person som er veldig sikkerhetsbevisst, sørg for å... konfigurer brannmuren slik at bare IP-adresser på ditt lokale nettverk har tilgang til port 11434.
Detaljert konfigurasjon i Dify
Når nettverket er klart, er det på tide å gå inn i Dify-grensesnittet. Gå til innstillingsdelen, og skriv deretter inn... Modellleverandør og søk etter Ollama. Når du legger til modellen, ikke bruk bare et hvilket som helst navn; du må bruke nøyaktig navn som vises når du kjører ollama list-kommandoen på konsollen.
Hvis du skriver inn et annet navn enn det som vises av ollama listDify kan returnere en feil Modellen ble ikke funnetFor eksempel, llama3.2 y llama3.2:3b De kan identifisere ulike varianter. Kopier hele verdien fra kolonnen NAME, inkludert etiketten som er plassert etter tykktarmen.
Når det gjelder de tekniske parameterne, Kontekstvindu Dette er et kritisk punkt. Hvis du angir en verdi som er for høy for modellen å håndtere, kan du oppleve avkortede svar eller uregelmessig oppførsel. Hvis du er usikker, start med 150 000 tokens Det er vanligvis et trygt valg for å opprettholde systemstabilitet.
Rask sjekk for vanlige feil
Hvis du fortsatt ikke har noen forbindelse etter alt dette, fortvil ikke. Noen ganger er synderen Windows Defender eller brannmuren Bedriftens regler blokkerer innkommende trafikk på port 11434. Opprett en spesifikk innkommende regel for å tillate TCP-trafikk på den porten og test på nytt.
En annen detalj som ofte blir oversett er RAM-minneforbrukHvis du prøver å laste inn en stor modell på en maskin med begrenset minne, kan Ollama krasje eller bli ekstremt treg, noe Dify tolker som en tidsavbrudd for tilkoblingen. Prøv å bruke en lettere modell for å utelukke at det er et maskinvareproblem.
For å fullføre installasjonen, husk at hvis du bruker Cloud-versjonen av Dify, krever det at datamaskinen din har en ... for å koble til en lokal Ollama. Tilgjengelig offentlig IP-adresse Eller du kan bruke tunnelverktøy som Ngrok, siden Difys sky ikke magisk kan komme inn i hjemmenettverket ditt uten en åpen bane.
Å få Dify og Ollama til å forstå hverandre krever i bunn og grunn mestring av kommunikasjonen mellom Docker-containere, åpning av servertilgang gjennom OLLAMA_HOST-variabelen og sikring av at modellnavnene samsvarer nøyaktig, alt støttet av en brannmur som ikke blokkerer port 11434 og minneallokering i samsvar med den valgte modellen.
Jeg er en teknologientusiast som har gjort sine "geek"-interesser til et yrke. Jeg har brukt mer enn 10 år av livet mitt på å bruke banebrytende teknologi og fikse med alle slags programmer av ren nysgjerrighet. Nå har jeg spesialisert meg på datateknologi og videospill. Dette er fordi jeg i mer enn 5 år har skrevet for forskjellige nettsteder om teknologi og videospill, og laget artikler som prøver å gi deg den informasjonen du trenger på et språk som er forståelig for alle.
Hvis du har spørsmål, spenner min kunnskap fra alt relatert til Windows-operativsystemet samt Android for mobiltelefoner. Og mitt engasjement er til deg, jeg er alltid villig til å bruke noen minutter og hjelpe deg med å løse eventuelle spørsmål du måtte ha i denne internettverdenen.