- Onyx vključuje izvorno integracijo za dodajanje Ollame kot ponudnika iz skrbniške plošče in samodejno pridobivanje njenih modelov.
- Naslov API-ja je odvisen od uvedbe: localhost, host.docker.internal, ime storitve Docker ali IP-naslov strežnika.
- Onyx Lite vam omogoča uporabo Ollame za klepet in agente; Onyx Standard dodaja konektorje, indeksiranje in iskanje RAG.
- Ollamin lokalni API ne zahteva preverjanja pristnosti in ne sme biti neposredno izpostavljen internetu.
Povezava Onyxa z Ollamo vam omogoča uporabo jezikovnih modelov, ki se izvajajo na vašem računalniku ali strežniku, kot motorja za klepete in agente platforme. Na ta način lahko delate z odprtimi modeli, ne da bi vsak pogovor poslali zunanjim ponudnikom ali plačali za vsak ustvarjen žeton.
Aplikaciji opravljata različne funkcije. Ollama prenese, naloži in zažene modeleOnyx ponuja vmesnik za klepet, zgodovino, agente, nadzor dostopa in v standardni različici iskanje po dokumentih in poslovnih virih.
Onyx trenutno ponuja namensko integracijo za Ollamo v svoji skrbniški plošči. Nastavitev je preprosta, vendar boste morali uporabiti drugačno pot, odvisno od tega, ali se Onyx in Ollama izvajata neposredno v sistemu, znotraj Dockerja ali na ločenih računalnikih.
Kaj potrebujete za povezavo Onyxa z Ollamo?

Preden začnete, morate imeti obe storitvi zagnani in delujoči:
- Namestitev Onyx Lite ali Standard.
- Ollama deluje na istem računalniku ali na dostopnem strežniku.
- V Ollami je bil prenesen vsaj en model.
- Administratorski dostop do Onyxa.
- Zadostna količina RAM-a ali VRAM-a za izbrani model.
Onyx Lite je zadosten Če želite samo klepetati, uporabljati priloge, ustvarjati projekte ali testirati agente z lokalnim modelom, zadostuje Onyx Standard. Če morate povezati Google Drive, Slack, SharePoint ali druge vire, indeksirati dokumente in uporabljati iskanje RAG, boste morali namestiti Onyx Standard.
Kako namestiti Ollamo in prenesti predlogo
Prenesite Ollamo z uradne spletne strani in jo namestite v sistem Windows, macOS ali Linux. Nato odprite terminal in prenesite model, ki ustreza vaši strojni opremi.
Na primer:
ollama pull qwen3:8b
Ime je le primer. Izberete lahko drug združljiv model, odvisno od razpoložljivega pomnilnika in funkcij, ki jih potrebujete.
Preverite nameščene modele z uporabo:
ollama list
Lahko pa izvedete tudi neposreden test:
ollama run qwen3:8b
Če se model v terminalu odzove, Ollama deluje. Vtipkajte /bye da končam pogovor.
Kako preveriti, ali Ollama API deluje
Ollama privzeto zažene strežnik HTTP na vratih. 11434Če si želite ogledati seznam razpoložljivih modelov, zaženite:
curl http://localhost:11434/api/tags
V PowerShellu lahko ta naslov odprete tudi neposredno z uporabo:
Invoke-RestMethod http://localhost:11434/api/tags
Če prejmete odgovor z nameščenimi modeli, je API na voljo. Če se prikaže napaka povezave, preverite, ali Ollama deluje in ali požarni zid ne blokira vrat.
Kateri naslov Ollama naj vnesem v Onyx?
Pravilna smer je odvisna od tega, kje se posamezna aplikacija izvaja. To je točka, ki povzroča največ napak med integracijo.
| Konfiguracija | Običajni naslov |
|---|---|
| Onyx in Ollama delujeta neposredno na istem sistemu | http://localhost:11434 |
| Onyx v Dockerju in Ollama nameščen na gostitelju | http://host.docker.internal:11434 |
| Onyx in Ollama v zabojnikih iz istega omrežja | http://ollama:11434 |
| Ollama v drugi ekipi na lokalnem omrežju | http://IP_DEL_SERVIDOR:11434 |
Ko Onyx teče v Dockerju, localhost Nanaša se na sam vsebnik, ne na gostiteljski računalnik. Zato naslov, ki deluje iz brskalnika, morda ne bo deloval, ko ga vnesete v Onyx.
Ime je običajno na voljo v Docker Desktop za Windows in macOS. host.docker.internalV Linuxu bo morda treba dodati preslikavo na prehod gostitelja ali uporabiti naslov IP, ki je dostopen iz omrežja Docker.
Kako dovoliti Onyxu dostop do Ollame iz Dockerja

Ollama privzeto posluša 127.0.0.1:11434To omejuje dostop do procesov, ki se izvajajo v istem sistemu. Če je Onyx znotraj vsebnika in se ne more povezati, bo morda treba Ollamo nastaviti na dostopnem vmesniku.
V Linuxu s systemd ustvarite modifikacijo storitve:
sudo systemctl edit ollama
dodaj:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Nato uporabite nastavitve:
sudo systemctl daemon-reload
sudo systemctl restart ollama
V gostiteljskem računalniku preverite, ali se API še vedno odziva:
curl http://localhost:11434/api/tags
Preden nadaljujete, omejite vrata z uporabo požarnega zidu. Ollamin lokalni API ne zahteva preverjanja pristnostiZato lahko vsaka naprava, ki lahko doseže vrata, pošilja zahteve in porablja strežniške vire.
Kako povezati Onyx z Ollamo iz skrbniške plošče
Ko je API dostopen, dokončajte integracijo iz Onyxa:
- Prijavite se s skrbniškim računom.
- Odprite meni profila.
- Vnesite Administrativna plošča.
- Dostop Konfiguracija > Jezikovni modeli.
- Kliknite možnost za dodajanje dobavitelja.
- Izberite Ollama.
- Vnesite opisno ime za identifikacijo ponudnika.
- Navedite naslov instance Ollama.
- Pritisnite Pridobi razpoložljive modele.
Onyx bo poizvedoval o instanci in prikazal razpoložljive modele. Če seznam ostane prazen, preveri uporabljeni naslov in izvede ukaz. ollama list da potrdite, da preneseni modeli obstajajo.
Ključ API ni potreben za lokalno instanco Ollame. Če uporabljate upravljano storitev Ollama Cloud, boste morali vnesti ustrezen ključ.
Kako izbrati modele, vidne na Onyxu
Ko pridobite seznam, odprite napredne možnosti in izberite modele, ki jih želite prikazati uporabnikom. Samodejna objava vseh nameščenih modelov ni priporočljiva.
Skrajšan seznam olajša izbiro in preprečuje, da bi kdo pomotoma izbral eksperimentalni model, ki je prepočasen ali nezdružljiv z določenimi funkcijami.
Pri izbiri modela bodite še posebej pozorni na:
- Nadaljnja navodila: ugotavlja, ali pravilno spoštuje sistemska in uporabniška navodila.
- Uporaba orodij: potrebno za določene akterje in dejanja.
- Kontekstno okno: Omejuje količino pogovorov in dokumentacije, ki jo lahko obdela.
- Zahtevani pomnilnik: Model, ki se ne prilega v VRAM, lahko delo porazdeli med grafično kartico in procesor ter se odzove veliko počasneje.
- Jezik: Nekateri modeli se bolje odzivajo v španščini kot drugi.
- Vizija: To je potrebno, če želite analizirati slike z uporabo združljivega multimodalnega modela.
Za skromne sisteme je običajno bolje začeti s kvantiziranim modelom s 4 do 8 milijardami parametrov. Za profesionalne sisteme se lahko uporabijo večji modeli, če je na voljo dovolj pomnilnika.
Kako nastaviti privzeti model in nadzorovati dostop
Onyx vam omogoča, da določite, kateri model bo organizacija privzeto uporabljala in kateri ponudniki bodo na voljo posameznemu uporabniku.
Pri shranjevanju nastavitev Ollama lahko ponudnika označite kot:
- Javno: Vsi uporabniki instance lahko uporabljajo njene modele.
- Zasebno: Do ponudnika lahko dostopajo samo skrbniki in pooblaščene skupine.
Zasebna konfiguracija je uporabna, kadar ima strežnik omejene vire ali kadar so določeni modeli rezervirani za določen računalnik.
Prav tako je dobro nastaviti primarni model za splošne klepete in, če Onyx v vaši različici ponuja to možnost, hitri model za pomožna opravila. Na ta način se pri preprostih operacijah ni vedno treba zateči k modelu, ki zahteva več virov.
Kako preizkusiti Ollamo iz klepeta Onyx
Po shranjevanju ponudnika:
- Odprite nov klepet.
- Razširite izbirnik modelov.
- Izberite enega od modelov znamke Ollama.
- Pošljite preprosto vprašanje.
- Preverite, ali se odziv začne prenašati postopoma.
Medtem ko se odgovor generira, lahko preverite, kateri model je naložen in ali uporablja grafični procesor, tako da:
ollama ps
Stolpec, ki ustreza procesorju, označuje, ali model deluje v celoti na grafičnem procesorju (GPU), na centralnem procesorju (CPE) ali s kombinacijo obojega.
Kako uporabljati Ollamo z dokumenti in RAG v Onyxu
Connect Ollama konfigurira generativni model Uporablja se za pripravo odgovorov, interpretacijo navodil in izvajanje določenih agentov. To ne pomeni, da Ollama samodejno nadomesti vse komponente, ki jih Onyx uporablja za iskanje dokumentov.
V Onyx Standardu se dokumenti pretvorijo v vektorje z uporabo modela vdelave in shranijo v iskalni indeks. Strežniki modelov Onyx lahko obvladujejo tudi ponovno razvrščanje in druge operacije, povezane z iskanjem.
Modeli vdelave so konfigurirani v nastavitvah iskanja in ne na zaslonu ponudnikov jezikov. Če želite, da vsa obdelava ostane znotraj vaše infrastrukture, izberite samoupravljan model vdelave in dodelite zadostne vire strežniku za indeksiranje.
Onyx priporoča uporabo grafičnega procesorja (GPU) za obdelavo velikih količin dokumentov z uporabo lokalnih vdelav. Sočasno izvajanje modela klepeta, vdelav in ponovnega razvrščanja na enem samem GPU-ju z omejenim VRAM-om lahko povzroči čakanja in napake v pomnilniku.
Kako izboljšati Ollamino delovanje z Onyxom

Izbira modela, ki ustreza pomnilniku
Če model preseže razpoložljivi VRAM, lahko Ollama nekatere svoje plasti prenese v sistemski pomnilnik. To znatno zmanjša hitrost. ollama ps da preveri, kje je bilo naloženo.
Prilagodite čas polnjenja
Ollama ohrani modele v pomnilniku še nekaj minut po uporabi. To vedenje lahko spremenite tako, da OLLAMA_KEEP_ALIVE.
Na primer, da jih ohranite 30 minut:
OLLAMA_KEEP_ALIVE=30m
Negativna vrednost ohranja model naložen za nedoločen čas, vendar to ni vedno priporočljivo. Če ostane v sistemu več modelov, lahko porabijo ves VRAM in preprečijo nalaganje drugih.
Predgrejte model
Da bi se izognili zamudam pri prvem odgovoru, lahko model predhodno naložite s prazno zahtevo:
curl http://localhost:11434/api/generate \
-d '{"model":"qwen3:8b","keep_alive":"30m"}'
Izogibajte se prekomerni gneči
Sočasne zahteve povečajo porabo pomnilnika. Če Ollama nima dovolj virov, bodo zahteve postavljene v čakalno vrsto in lahko sčasoma vrnejo napako 503.
Spremenljivke OLLAMA_NUM_PARALLEL, OLLAMA_MAX_LOADED_MODELS y OLLAMA_MAX_QUEUE Omogočajo vam prilagajanje tega vedenja, vendar jih ni priporočljivo povečevati, ne da bi prej preverili razpoložljivi RAM in VRAM.
Zakaj ne smete uporabljati OLLAMA_ORIGINS="*"
OLLAMA_ORIGINS Nadzira dodatne spletne izvore, ki so pooblaščeni za pošiljanje zahtev prek brskalnika. Običajna povezava med Onyxom in Ollamo se vzpostavi iz Onyxovega zaledja, zato običajno ni treba spreminjati CORS-a.
Konfiguracija nadomestnega znaka ne odpravi omrežnih napak med vsebniki in po nepotrebnem razširi podprte izvore. Če integracija, ki temelji na brskalniku, zahteva CORS, dodajte samo določeno domeno, ki jo bo aplikacija uporabljala.
Kako zaščititi primerek Ollame, ki je dostopen prek omrežja
Ollamin lokalni API ne vključuje preverjanja pristnosti. Nikoli ne objavljajte vrat 11434 neposredno na internetu.
Če se Onyx in Ollama izvajata na različnih računalnikih:
- Uporabite zasebno omrežje, VPN ali notranji VLAN.
- Z uporabo požarnega zidu omejite, kateri naslovi lahko dostopajo do vrat.
- Na usmerjevalniku ne konfigurirajte posredovanja javnih vrat 11434.
- Če potrebujete oddaljeni dostop, pred Ollamo namestite proxy z overjanjem in TLS.
- Spremljajte porabo procesorja, RAM-a, grafičnega procesorja in prejete zahteve.
Lokalno izvajanje modela izboljša nadzor nad zahtevami, vendar je končna zasebnost odvisna tudi od konektorjev, orodij, modelov vdelave in zunanjih storitev, omogočenih v Onyxu.
Pogoste napake pri povezovanju Oniksa z Ollamo

Onyx ne najde nobenih modelov
Najprej preverite namestitev:
ollama list
curl http://localhost:11434/api/tags
Če je Ollamin seznam prazen, pred uporabo možnosti prenesite predlogo. Pridobi razpoložljive modele v Oniksu.
Povezava zavrnjena ali napaka 111
Ta napaka pomeni, da vsebnik ali strežnik Onyx ne more doseči navedenega naslova. Če je Onyx v Dockerju in Ollama na gostitelju, poskusite naslednje:
http://host.docker.internal:11434
Ne uporabljajte localhost iz vsebnika, da se sklicuje na gostitelja.
host.docker.internal ne deluje v Linuxu
V nekaterih namestitvah Docker Engine za Linux se to ime ne razreši samodejno. V konfiguraciji Compose dodajte preslikavo na prehod gostitelja ali uporabite naslov IP, ki je dostopen iz omrežja Docker.
Onyx prikaže model, vendar se klepet ne odziva.
Zaženite model neposredno z ollama run in preverite dnevnike za obe storitvi. Model morda ne ustreza pomnilniku, se je morda ustavil ali pa ni združljiv z vrsto poslane zahteve.
Prvi odgovor traja predolgo.
Model je treba naložiti iz pomnilnika v pomnilnik. Lahko ga predhodno segrejete ali nekoliko zvišate temperaturo. OLLAMA_KEEP_ALIVEČe so vsi odzivi počasni, uporabite manjši model in preverite njegovo porazdelitev z ollama ps.
Ollama vrne napako 503
Strežnik je preobremenjen ali pa je njegova čakalna vrsta dosegla omejitev. Zmanjšajte število sočasnih zahtev, omejite število naloženih modelov in pred razširitvijo čakalne vrste preglejte vrednosti sočasnosti.
Model se odziva, vendar agenti ne uporabljajo orodij
Vsi modeli ne sledijo natančno shemi orodja. Izberite model z dobro podporo za sledenje navodilom in klicanje orodij. Preverite tudi, ali je kontekstno okno dovolj veliko za navodila agenta.
Onyx ne more najti informacij v dokumentih
Povezava z Ollamo zagotavlja samo generativni model. Preverite, ali uporabljate Onyx Standard, ali so povezovalniki končali z indeksiranjem, ali dovoljenja dovoljujejo dostop do dokumentov in ali je omogočeno notranje iskanje.
Povezava Onyxa z Ollamo vam omogoča, da združite celoten delovni vmesnik z modeli, ki se izvajajo znotraj vaše lastne infrastrukture. Postopek vključuje pripravo modela v Ollami, preverjanje njegovega API-ja, vnos naslova, dostopnega iz vašega okolja v Onyxu, in izbiro modelov, ki bodo na voljo uporabnikom.
Ključni del je omrežje. Če Onyx deluje na Dockerju, localhost Ne kaže na gostiteljski računalnik. Ko je ta podrobnost razrešena, lahko Ollamo uporabljate v klepetih in za agente, medtem ko Onyx obravnava vmesnik, dovoljenja in v svoji standardni uvedbi tudi pridobivanje poslovnih informacij.
Kazalo
- 1 Kaj potrebujete za povezavo Onyxa z Ollamo?
- 2 Kako namestiti Ollamo in prenesti predlogo
- 3 Kako preveriti, ali Ollama API deluje
- 4 Kateri naslov Ollama naj vnesem v Onyx?
- 5 Kako dovoliti Onyxu dostop do Ollame iz Dockerja
- 6 Kako povezati Onyx z Ollamo iz skrbniške plošče
- 7 Kako izbrati modele, vidne na Onyxu
- 8 Kako nastaviti privzeti model in nadzorovati dostop
- 9 Kako preizkusiti Ollamo iz klepeta Onyx
- 10 Kako uporabljati Ollamo z dokumenti in RAG v Onyxu
- 11 Kako izboljšati Ollamino delovanje z Onyxom
- 12 Zakaj ne smete uporabljati OLLAMA_ORIGINS="*"
- 13 Kako zaščititi primerek Ollame, ki je dostopen prek omrežja
- 14 Pogoste napake pri povezovanju Oniksa z Ollamo
- 14.1 Onyx ne najde nobenih modelov
- 14.2 Povezava zavrnjena ali napaka 111
- 14.3 host.docker.internal ne deluje v Linuxu
- 14.4 Onyx prikaže model, vendar se klepet ne odziva.
- 14.5 Prvi odgovor traja predolgo.
- 14.6 Ollama vrne napako 503
- 14.7 Model se odziva, vendar agenti ne uporabljajo orodij
- 14.8 Onyx ne more najti informacij v dokumentih