Potpuni vodič za instaliranje i konfiguriranje RAGFlowa s Dockerom

Ako tražite način da umjetna inteligencija temelji svoje odgovore na vašim vlastitim datotekama, RAGFlow je jedna od najopsežnijih alternativa. To je... motor za povećanu proizvodnju putem rekuperacije otvorenog koda koji analizira strukturu dokumenata i pruža modelu relevantne informacije kako bi se smanjile uobičajene halucinacije LLM-ova.

Nadalje, možete ga instalirati na vlastitu infrastrukturu kako biste održavajte kontrolu nad svojim podacima i izbjeći potpunu ovisnost o vanjskim platformama. Zahvaljujući svojoj arhitekturi temeljenoj na Dockeru, omogućuje upravljanje unosom, indeksiranjem i stvaranjem asistenata i agenata putem vizualnog sučelja.

Tehnički zahtjevi prije početka

Da bi sustav ispravno funkcionirao, potrebno vam je računalo koje zadovoljava određene minimalne zahtjeve. Upravljanje dokumentima, tražilice i indeksiranje mogu trošiti značajne resurse, posebno pri radu s velikim zbirkama.

Dokumentacija RAGFlow utvrđuje sljedeće zahtjeve:

• x86 procesor s četiri ili više jezgri.
• Najmanje 16 GB RAM-a.
• Najmanje 50 GB dostupne memorije.
• Docker 24.0.0 ili noviji.
• Docker Compose 2.26.1 ili noviji.
• Python 3.13 ili noviji.

Ako planirate koristiti izvršitelj koda u sandbox načinu rada za svoje agente, morat ćete instalirati i gPreglednik izolirati izvršenje i poboljšati sigurnost okoliša.

Druga važna točka je konfiguracija kernela. Morate osigurati da vrijednost vm.max_map_count biti jednak ili veći od 262144. U suprotnom, mehanizam za obradu dokumenata može prikazivati ​​memorijske pogreške ili se neće ispravno pokrenuti.

Trenutnu vrijednost možete provjeriti pomoću:

sysctl vm.max_map_count

Ako ga trebate privremeno izmijeniti, pokrenite:

sudo sysctl -w vm.max_map_count=262144

Ova promjena će biti izgubljena nakon ponovnog pokretanja sustava. Da biste je sačuvali, dodajte sljedeći redak u datoteku /etc/sysctl.conf:

vm.max_map_count=262144

Koraci za implementaciju RAGFlowa s Dockerom

Nakon što je okruženje pripremljeno, prvi korak je klonirajte službeni repozitorij s RAGFlowa na GitHubu:

git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker

Kako biste izbjegli nekompatibilnosti između konfiguracijskih datoteka i Docker slike, preporučuje se odabir stabilne verzije objavljene u repozitoriju. Zatim možete pokrenuti RAGFlow pomoću:

docker compose -f docker-compose.yml up -d

Ova naredba koristi CPU za DeepDoc zadatke. Ako imate Kompatibilno s NVIDIA GPU-om, dodajte sljedeću varijablu u datoteku .env prije pokretanja kontejnera:

DEVICE=gpu

Zatim upotrijebite istu Docker Compose datoteku:

docker compose -f docker-compose.yml up -d

Da biste provjerili je li poslužitelj ispravno pokrenut, provjerite zapisnike odgovarajućeg spremnika:

docker logs -f docker-ragflow-cpu-1

Točan naziv spremnika može varirati ovisno o korištenoj verziji i konfiguraciji. Kada zapisnici pokazuju da poslužitelj radi u 0.0.0.0Sada možete otvoriti sučelje.

Prema zadanim postavkama, jednostavno unesite IP adresu poslužitelja u svoj preglednik:

http://IP_DEL_SERVIDOR

Zadani HTTP port je 80, tako da ga obično ne morate upisivati. Jednom kada ste unutra, pristupite Pružatelji modelaOdaberite davatelja usluga kojeg želite koristiti i konfigurirajte njegove vjerodajnice. RAGFlow vam omogućuje zasebno definiranje modela chata, ugrađivanja, prepoznavanja slika i drugih kompatibilnih zadataka.

Upravljanje dokumentima i tijek rada

Glavna prednost RAGFlowa leži u načinu na koji obrađuje informacije. Umjesto jednostavnog dijeljenja sadržaja na proizvoljne fragmente, koristi različite analizatore za interpretaciju strukture dokumenata, tablica, slika i skeniranih datoteka.

Za početak, stvorite skup podataka, prenesite datoteke i odaberite predložak fragmentacije prikladno. Platforma podržava različite formate, uključujući PDF, DOCX, proračunske tablice, prezentacije, tekstualne datoteke i slike.

RAGFlow također omogućuje pregledajte generirane fragmenteMožete ih ručno urediti i dodati ključne riječi. Ova je opcija korisna kada analizator nije ispravno interpretirao tablicu, naslov ili određeni odjeljak.

Kada sustav dohvaća informacije kako bi odgovorio na pitanje, može uključiti citate koji vode natrag do izvornih fragmenata. To poboljšava sljedivost odgovoraMeđutim, to ne jamči da će model biti potpuno bez grešaka.

Nakon obrade dokumenata, možete stvoriti asistenta iz odjeljka za chat. Među njegovim opcijama je mogućnost definiranja što bi trebao odgovoriti kada ne pronađe dovoljno informacija u bazi znanja.

Postavljanje poruke poput "Ne mogu pronaći ove informacije u dostupnim dokumentima" pomaže smanjiti rizik da model improvizira odgovor bez dokumentarne potpore.

Napredne postavke i optimizacija sustava

Glavni parametri implementacije nalaze se u datoteci .envOdatle možete mijenjati elemente kao što su HTTP port, lozinke za MySQL i MinIO, mehanizam za obradu dokumenata ili korištenje GPU-a.

RAGFlow koristi Elasticsearch kao svoj zadani mehanizam za pohranjivanje i dohvaćanje teksta i vektora. Također omogućuje prebacivanje na Infinity pomoću ove varijable:

DOC_ENGINE=infinity

Međutim, ova promjena ne čuva automatski postojeće podatke. Službeni postupak zahtijeva zaustavljanje kontejnera i brisanje njihovih volumena.

docker compose -f docker-compose.yml down -v

Parametar -v izbrišite Docker volumene i sve podatke pohranjene na njima. Prije pokretanja naredbe, provjerite imate li sigurnosnu kopiju i želite li zaista započeti s čistom instalacijom.

Nakon uspostavljanja DOC_ENGINE=infinity u datoteci .envMožete ponovno pokrenuti kontejnere:

docker compose -f docker-compose.yml up -d

Službene RAGFlow slike su dizajnirane za x86 platforme. Ako koristite procesor ARM64Za određene uređaje, poput onih s Apple Silicon procesorom ili servera s Amazon Graviton procesorom, morat ćete izraditi kompatibilnu sliku prema uputama projekta.

Od verzije 0.22, RAGFlow distribuira samo lagano izdanje svoje slike. Ovo izdanje je veličine otprilike 2 GB i oslanja se na vanjske ili dodatne usluge kako bi osiguralo potrebne jezične modele i ugradnje.

Ako želite izložiti uslugu internetu, ne preporučuje se izravno objavljivanje njenog porta. Najsigurniji pristup je korištenje obrnuti proxy poput Nginxa ili Traefika Ispred RAGFlowa omogućite HTTPS i dodajte odgovarajuće kontrole pristupa.

Integracija lokalnih modela i privatnosti

RAGFlow također može koristiti modele koji se izvode unutar vaše vlastite infrastrukture. Podržane opcije uključuju: Ollama, LM Studio i vLLMMeđutim, specifična konfiguracija ovisi o davatelju usluga i instaliranoj verziji.

U normalnoj instalaciji, Ollama se može dodati iz Postavke > Pružatelji modela > OllamaTamo morate navesti model i adresu putem koje će RAGFlow moći pristupiti Ollama serveru.

Ako se RAGFlow izvodi unutar Dockera, imajte na umu da localhost Pokazuje na sam kontejner. Kada se Ollama instalira na host sustav, morat ćete koristiti adresu dostupnu iz kontejnera, kao što je IP adresa računala ili host.docker.internal kada postane dostupno.

Da biste podatke zadržali unutar svoje mreže, samo korištenje lokalnog modela chata nije dovoljno. Također morate provjeriti da modeli ugradnje, prepoznavanje slika, ponovno rangiranje i bilo koja druga povezana usluga pokreću se lokalno. Ako neki ovise o vanjskom API-ju, neke informacije mogu napustiti vašu infrastrukturu.

Platforma omogućuje korištenje modela za ponovno rangiranje kako bi se preuredili dohvaćeni fragmenti prije slanja u LLM. To može poboljšati relevantnost odgovora u određenim zbirkama, iako će rezultat ovisiti o dokumentima, odabranom modelu i postavkama pretraživanja.

RAGFlow vam omogućuje transformaciju zbirke dokumenata u pretraživu bazu znanja pomoću umjetne inteligencije. Njegovi alati za analizu, fragmentaciju, dohvaćanje i sljedivost pomažu vam u dobivanju bolje informiranih odgovora, dok lokalno postavljanje nudi veću kontrolu nad infrastrukturom i obradom podataka.