Slik kobler du Dify til Ollama for å lage en lokal, privat AI

Det er fristende Bygg ditt eget økosystem for kunstig intelligensDet er imidlertid en bekymring for at dataene dine kan bli sendt til ukjente servere. En måte å unngå dette på er Koble Dify til OllamaKombinasjonen fungerer: Dify er en utrolig fleksibel LLM-applikasjonsutviklingsplattform, mens Ollama er standarden for å kjøre lokale modeller.

Du trenger ikke å være en programmeringsguru for å oppnå dette, ettersom Dify tilbyr et visuelt grensesnitt som lar deg designe komplekse arbeidsflyter uten å berøre en eneste kodelinje. Men hvis du liker å tukle med programvare, vil du oppdage at dens evne til å eksporter til Python Det er en skikkelig perle for å ta prosjektene dine til neste nivå.

Hva er egentlig Dify og Ollama?

For å begynne å koble Dify med Ollama fra bunnen av, er det viktig å vite hva hver enkelt er. Dify Det er et verktøy for Åpen kildekode LLMOps Det fungerer som et kommandosenter. Det lar deg integrere ulike modeller, administrere kunnskapsbaser og opprette agenter som faktisk fungerer. Best av alt, det begrenser deg ikke til én enkelt modell; du kan blande skytjenester med lokale modeller etter behov.

På den annen side, Ollama Det er den delen som er ansvarlig for løft modellene (som Llama 3, Gemma eller DeepSeek) direkte på datamaskinen eller serveren din. Ved å kjøre inferens lokalt unngår du å betale månedlige avgifter for hvert genererte token og sikrer sikkerheten til bedriftens sensitive informasjon. hold deg innenfor nettverket ditt.

Viktige trinn for å koble Dify til Ollama

Det første trinnet er å gjøre Llama klar. Du bør laste den ned fra den offisielle nettsiden og kjøre din foretrukne modell via terminalen. Hvis du for eksempel vil prøve den nyeste Llama, kjører du bare kommandoen ollama løp llama3.2Det er viktig at Ollama-serveren lytter på alle grensesnitt. For å gjøre dette, konfigurer miljøvariabelen. OLLAMA_HOST=0.0.0.0spesielt hvis du skal bruke Docker.

For Dify er den enkleste måten å bruke Docker Desktop. Du trenger bare å klone det offisielle GitHub-depotet og navigere til mappen. docker, kopier eksempelfilen .env.example som .env og utføre docker-komponere opp -dNår containerne kjører, vil du kunne få tilgang til administrasjonspanelet via nettleseren din på lokalvert.

Tilkoblingsoppsett: Trikset med basis-URL-en

Det er her mange står fast når de prøver å koble Dify til Ollama. Fordi Dify kjører inne i en Docker-container, kan den ikke se "localhost" til den faktiske maskinen din direkte. For å omgå dette må du legge til Ollama i Difys modellleverandørseksjon og bruke adressen. http://host.docker.internal:11434Denne broen er det som lar Dify API-et kommunisere med Ollama-motoren som er installert på Windows, Mac eller Linux.

Når du legger til modellen, husk å spesifisere nøyaktig navn fra modellen du lastet ned i Ollama (for eksempel, llama3), juster kontekststørrelsen og tokengrensen i henhold til maskinvarens kapasitet for å forhindre at systemet krasjer eller reagerer tregt.

RAG-implementering: Din egen kunnskapsbase

En av Difys kraftigste funksjoner er Recall Augmented Generation (RAG). Dette lar AI-en ikke bare respondere med det den allerede vet, men også konsultere andre kilder. spesifikke dokumenter som du oppgir. Du kan laste opp manualer i HTML- eller PDF-format, og Dify vil ta seg av å dele dem opp i håndterbare deler kalt biter.

Disse delene konverteres til vektorer ved hjelp av en modell av innebygging (som også kan være fra Ollama) og lagres i en database som Weaviate. Når du stiller et spørsmål, søker systemet i dokumentene dine etter den mest relevante informasjonen og sender den til LLM for å utarbeide et svar. Basert på virkelige hendelser og ikke i hallusinasjoner.

Fra en enkel chatbot til en avansert arbeidsflyt

Hvis konvensjonell chat ikke er nok for deg, lar Dify deg opprette arbeidsflyter med visuell logikk. Tenk deg et system som først klassifiserer brukerens spørsmål: hvis det er et teknisk spørsmål, sender det det til en kodeekspert; hvis det er et administrativt spørsmål, omdirigerer det det til selskapets kunnskapsbase. Alt dette gjøres gjennom beslutningsnoder (IF/ELSE) og spesialiserte LLM-noder.

Denne tilnærmingen er mye mer presis fordi du kan skrive spesifikke spørsmål for hvert trinn i prosessen. Du kan konfigurere modellen til å være konsis, inkludere kodeeksempler eller tillate begrensning hvis svaret ikke finnes i dokumentasjonen, og dermed oppnå en profesjonell brukeropplevelse.

Løse vanlige problemer og optimalisere

Du kan støte på noen problemer når du prøver å koble Dify til Ollama. Hvis du får feilmeldingen «tilkobling avvist», må du sjekke at brannmuren din ikke blokkerer porten. 11434 og at Ollama faktisk er aktiv. Når det gjelder ytelse, hvis du merker at AI-en beveger seg i sneglefart, gå inn i Docker-konfigurasjonen og tilordne mer RAM og CPU (minst 8 GB hvis mulig).

Et annet kritisk punkt er GPU-driverne. For at Ollama skal fungere, trenger den tilgang til grafikkortet. Hvis du bruker NVIDIA, sørg for at du har oppdaterte drivere Og hvis du kjører alt i Docker, konfigurerer du nvidia-container-runtime i filen daemon.json slik at containere kan dra nytte av kraften i maskinvaren.

For en god idé å koble Dify med Ollama! Integrering av disse verktøyene lar deg bygge et robust AI-system, der personvern Dette er prioriteten, og driftskostnadene minimeres. Ved å mestre forbindelsen mellom Difys orkestrering og Ollamas lokale kraft, har du en infrastruktur som kan skaleres fra en enkel skrivebordsassistent til et komplekst kunnskapshåndteringssystem for ethvert profesjonelt miljø.