Langflow kobler seg ikke til Ollama: feil og løsninger

Å kjøre kunstig intelligens-modeller på din egen datamaskin lar deg opprettholde større kontroll over dataene dine og unngå de tilbakevendende kostnadene ved noen kommersielle API-er. En av de mest interessante kombinasjonene for å oppnå dette er å bruke Ollam som modellserver og Langflow som visuell redigerer av AI-applikasjoner, agenter og flyter.

Det er imidlertid ikke garantert at de kan kommunisere selv om man installerer begge verktøyene. Det er vanlig å åpne Ollama-komponenten i Langflow og finne modellvelgeren tom, en tilkoblingsfeil eller en adresse som fungerer fra nettleseren, men ikke fra Docker.

Problemet ligger vanligvis i nettverket, serveradressen eller hvordan Langflow ble installert. Vi skal se på dette senere. Slik kobler du Langflow til Ollama i Windows, Linux og Docker, i tillegg til å fikse de vanligste feilene.

Sjekk at Ollama fungerer

Før du endrer Langflow, sørg for at Ollama kjører som den skal. Åpne en terminal og bruk:

ollama list

Kommandoen vil vise de installerte modellene. Hvis listen er tom, må du laste ned en før du kan velge den fra Langflow.

ollama pull qwen3:4b

Navnet ovenfor er bare et eksempel. Du kan velge en annen variant avhengig av tilgjengelig minne og funksjonene du trenger.

Du kan også sjekke direkte at Ollama API-et svarer ved å åpne denne adressen:

http://localhost:11434/api/tags

Hvis Ollama kjører, vil serveren returnere et JSON-dokument med de tilgjengelige modellene. Når dette trinnet mislykkes, ligger ikke problemet ennå hos Langflow: du må først starte eller reparere Ollama-tjenesten.

Fiks den tomme eller låste modellvelgeren

Langflows Ollama-komponent henter modellene ved å spørre serveren som er spesifisert i feltet. Basis-URLNår forbindelsen er opprettet, feltet Modellnavn Den skal vise de installerte modellene. Du kan også trykke på oppdateringsknappen ved siden av velgeren for å se listen på nytt.

Hvis Langflow og Ollama kjøres direkte på samme system, er den vanlige adressen:

http://127.0.0.1:11434

I noen versjoner av komponenten vises alternativet Verktøymodell aktivertNår den er aktivert, filtrerer Langflow listen og viser bare modellene som Ollama identifiserer som kompatible med verktøykall.

Dette betyr at aktivering av alternativet ikke låser opp alle modeller. Faktisk, hvis du bruker en modell som ikke erklærer denne funksjonen, kan rullegardinmenyen forbli tom. For en innledende test, Deaktiver Verktøymodell aktivert, oppdater listen, og sjekk om modellen vises..

Dette alternativet bør heller ikke forveksles med VerktøymodusTilgjengelig i menyen til forskjellige komponenter. Verktøymodus brukes til å konvertere en komponent til et verktøy som kan koble til en agent; den brukes ikke til å reparere forbindelsen med Ollama.

Å velge riktig adresse for Ollama

En av de vanligste feilene er å bruke localhost uten å ta hensyn til hvor Langflow kjører. Innenfor en container refererer den adressen til selve containeren, ikke vertsmaskinen.

Riktig retning avhenger av installasjonen:

Konfigurasjon	Ollamas vanlige adresse
Langflow og Ollama installert i samme system	http://127.0.0.1:11434
Langflow i Docker og Ollama på Windows eller macOS	http://host.docker.internal:11434
Langflow og Ollama på samme Docker-nettverk	http://ollama:11434
Ollama på et annet lag på det lokale nettverket	http://IP_DEL_SERVIDOR:11434

I det tredje tilfellet, ollama må samsvare med navnet som er tilordnet tjenesten i Docker Compose.

Hvis Langflow er i en Docker-container på Linux og Ollama kjører på verten, må du kanskje legge til følgende konfigurasjon i Langflow-tjenesten:

extra_hosts:
  - "host.docker.internal:host-gateway"

Deretter må du gjenskape eller starte beholderen på nytt for å bruke endringen.

Tillat eksterne tilkoblinger med OLLAMA_HOST

Ollama lytter som standard på 127.0.0.1:11434Dette beskytter serveren mot eksterne tilkoblinger, men det kan også forhindre at Langflow får tilgang til den fra en annen container eller maskin.

I en Linux-installasjon administrert av systemd, kan du endre lytteadressen med:

sudo systemctl edit ollama

Legg til følgende linjer:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Lagre filen og bruk endringene:

sudo systemctl daemon-reload
sudo systemctl restart ollama

I Windows lar Ollama deg konfigurere miljøvariabelen OLLAMA_HOSTEtter at du har opprettet eller endret den, må du lukke programmet helt og starte det på nytt for at den skal lese den nye verdien.

Bruk 0.0.0.0 Dette gjør at Ollama lytter på alle nettverksgrensesnitt. Denne konfigurasjonen kan være nødvendig, men Du bør ikke publisere port 11434 direkte på Internett.Det lokale API-et er ikke designet for å bli stående eksponert uten et ekstra lag med autentisering og beskyttelse.

Når det er mulig, hold Ollama og Langflow innenfor et privat Docker-nettverk eller begrens tilgangen gjennom brannmuren.

Installer Langflow og de nødvendige komponentene

Docker er en av de enkleste måtene å kjøre Langflow på, ettersom den holder avhengighetene sine atskilt fra resten av systemet. Den offisielle dokumentasjonen gir forhåndsbygde bilder og Docker Compose-eksempler med permanent lagring.

Du kan også installere Langflow ved hjelp av Python. Hvis du installerer hele pakken, er de vanlige komponentene allerede inkludert:

uv pip install langflow

Prosjektet gir også mulighet for installasjon av lfx uavhengig. I så fall distribueres noen leverandører gjennom tilleggspakker. For å legge til bare Ollama-pakken kan du bruke:

uv pip install "lfx-bundles[ollama]"

Hvis du trenger å installere alle tilleggspakkene:

uv pip install "lfx[bundles]"

Det tar opp mer plass å installere alle leverandørene og legger til avhengigheter du sannsynligvis ikke vil bruke. Derfor er det å bare legge til den nødvendige pakken for en mer kompakt installasjon.

Etter at du har installert en utvidelse, må du starte Langflow på nytt. Du kan også sjekke de oppdagede komponentene med:

lfx extension list

Opprett en lokal agent som er i stand til å bruke verktøy

En konversasjonsmodell er ikke alltid i stand til å generere verktøykall i forventet format. For å koble en kalkulator, en søkemotor, en MCP-server eller en annen komponent til en agent, trenger du en modell som støtter verktøyanrop.

Ollama-biblioteket identifiserer seg med etiketten verktøy Modellene som tilbyr denne funksjonen. Tilgjengelige familier og varianter endres over tid, men Qwen 3 har forskjellige verktøykompatible størrelser.

Du kan laste ned for eksempel:

ollama pull qwen3:4b

En mindre variant bruker mindre minne, men den kan også gjøre flere feil når den velger verktøy eller konstruerer argumentene sine. Hvis systemet tillater det, tilbyr en større modell vanligvis mer pålitelig ytelse.

For å opprette flyten:

1. Legg til en komponent Agent til lerretet.
2. Velge Skikk som modellleverandør hvis versjonen som brukes viser dette alternativet.
3. Legg til Ollama-komponenten og skriv inn riktig serveradresse.
4. Aktiv Verktøymodell aktivert for å vise kompatible modeller.
5. Velg modellen og koble til utgangen. Språkmodell med tilhørende oppføring fra agenten.
6. Legg til en kalkulator, en søkemotor eller en annen komponent og aktiver den Verktøymodus.
7. Koble verktøyets utgang til porten Verktøy fra agenten.

Verktøymodell aktivert filtrerer modeller; Verktøymodus gjør komponenter om til verktøy. Selv om navnene deres høres like ut, de utfører forskjellige funksjoner.

Hva du skal gjøre hvis agenten ignorerer verktøyene

Bare fordi en modell er kompatibel med bestemte verktøy, betyr det ikke at den vil velge dem riktig i alle spørringer. Små, lokale modeller kan svare fra minnet selv når de burde spørre en ekstern kilde.

For å forbedre atferd kan du:

• Forklar tydelig i systemmeldingen når hvert verktøy skal brukes.
• Gi verktøyene nøyaktige navn og beskrivelser.
• Unngå å ha to verktøy med tilnærmet identiske funksjoner.
• Prøv en større modell eller en som er bedre egnet for agentoppgaver.
• Reduser temperaturen for å få færre tilfeldige responser.
• Gjennomgå utførelsestrinnene fra Lekeplassen.

En temperatur som 0.1 Det kan øke konsistensen, men det korrigerer ikke i seg selv en inkompatibel modell eller et dårlig beskrevet verktøy.

For å teste konfigurasjonen, start med en entydig forespørsel, for eksempel en matematisk operasjon som tvinger agenten til å bruke kalkulatoren. Deretter kan du prøve mer åpne scenarier.

Optimaliser maskinvare for å kjøre lokale modeller

Modellstørrelsen, kvantiseringen og kontekstlengden bestemmer i stor grad minneforbruket. Hvis alle vektene passer inn i VRAM, kan Ollama utnytte GPU-en bedre. Hvis de ikke passer, kan den avlaste noe av arbeidet til RAM og CPU, selv om genereringen vil være tregere.

Det er ikke nok å sammenligne filstørrelsen med tilgjengelig VRAM. Minne er også nødvendig for kontekstbuffering og andre inferensoperasjoner. Et veldig stort kontekstvindu kan øke minneforbruket betydelig.

Hvis Ollama viser en feil som indikerer at det ikke er nok minne, kan du prøve disse løsningene:

• Bruk en mindre kvantisert variant.
• Reduser størrelsen eller parameterne til modellen.
• Reduser lengden på konteksten.
• Lukk andre programmer som bruker VRAM eller RAM.
• Kjør Ollama på en annen datamaskin og koble Langflow til via nettverket.

Langflow kjører ikke modellen direkte når den kobler til Ollama. Det er Ollama-serveren som bestemmer hvordan lasten skal fordeles mellom GPU, CPU og minne. Derfor hindrer ikke installasjon av Langflow i Docker Ollama i å dra nytte av akselerasjonen som er tilgjengelig på verten.

Løsninger for de vanligste tilkoblingsfeilene

Hvis Langflow fortsatt ikke viser modellene, sjekk disse punktene i rekkefølge:

• Sjekk det ollama list viser minst én modell.
• Adgang /api/tags for å bekrefte at API-et svarer.
• Bruk adressen som samsvarer med arkitekturen din.
• Deaktiver midlertidig Verktøymodell aktivert.
• Trykk på oppdateringsknappen for modellvelgeren.
• Sjekk at port 11434 ikke er blokkert av brannmuren.
• Sjekk Langflow- og Ollama-loggene.
• Oppdater begge programmene hvis du bruker en eldre versjon.

Du kan også teste forbindelsen fra selve Langflow-containeren. Dette hjelper med å oppdage situasjoner der Ollama svarer fra verten, men ikke er tilgjengelig i Docker.

Når modellen vises i komponenten, opprett en enkel flyt med en chat-inndata, Ollama, og en utdata. Først etter at du har validert denne kommunikasjonen, bør du legge til agenter, verktøy, minne eller dokumentgjenfinning.

Ved å kombinere Langflow og Ollama kan du designe visuelle applikasjoner ved hjelp av modeller som kjører på din egen infrastruktur. Nøkkelen er å forstå at begge programmene er uavhengige tjenester. Ollama betjener modellen, og Langflow kommuniserer med API-et.Når modellens adresse, nettverk og funksjoner er riktig konfigurert, kan du bygge agenter og automatiseringer uten å være avhengig av en ekstern leverandør av slutninger.