- Forskjellen mellom å legge ved dokumenter for engangssamtaler og å bygge dem inn ved hjelp av RAG for permanent lagring i arbeidsområdet.
- Optimalisert konfigurasjon av vektordatabasen og likhetsterskelen for å forbedre nøyaktigheten av svarene.
- Mulighet for å behandle flere formater, inkludert lyd med Whisper og web scraping, med alternativer for distribusjon på Desktop eller Docker.
Hvis du leter etter en måte å bygge din egen AI-assistent på, sørg for at det er privat og mektigDette er sannsynligvis et av de sterkeste alternativene som er tilgjengelige akkurat nå. Her skal vi se. hvordan legge til dokumenter i AnythingLLM (Word, Excel, osv.). Vi skal også se at det ikke bare er enda et chatprogram, men et komplett verktøy som lar deg gjøre om dine egne filer til en intelligent kunnskapsbase, alt uten at dataene dine trenger å forlate maskinen din hvis du foretrekker det.
Det som gjør at denne applikasjonen skiller seg ut er dens evne til å administrere dataflyt gjennom RAG (Retrieval Augmented Generation), slik at språkmodellen kan unngå å finne opp ting og utelukkende stole på dokumentasjonen du gir. Enten det gjelder å organisere notater, administrere juridiske kontrakter eller opprette et brukerstøttesenter for bedrifter, er fleksibiliteten arbeidsplasser Det er rett og slett brutalt.
Komme i gang: Installasjon og første trinn
For å få systemet i gang, før du begynner å legge til dokumenter i AnythingLLM, er det første du må gjøre å bestemme hvilken versjon du trenger. Hvis du er en individuell bruker som ønsker hastighet og enkelhet, den Skrivebordsversjon Det er ideelt, siden det installeres som et hvilket som helst Windows-, macOS- eller Linux-program og leveres ferdig konfigurert. På den annen side, hvis du har til hensikt å sette opp en server som et helt team kan bruke, er det best å gå for Docker-versjonnoe som muliggjør en mer profesjonell og skalerbar distribusjon.
Når det gjelder kravene, ber den ikke om noe uoverkommelig: med 2 GB RAM Du kan starte, men hvis du skal kjøre språkmodeller lokalt, bør du ideelt sett ha 8 GB eller mer. Diskplass er viktig, siden innebyggingsmodeller Og vektorer kan ta opp ganske mye plass, så minst 10 GB ledig plass anbefales.
Når den er installert, er kjernen i applikasjonen ArbeidsområderTenk deg at de er smarte, isolerte mapper; du kan ha én til jobb, en annen til studiene og en annen til personlige prosjekter. Hver av dem kan ha sin egen språkmodell og sin egen database, som forhindrer at informasjonen blandes sammen.
Prosessen med å legge til og behandle dokumenter
Det er veldig intuitivt å legge til dokumenter i AnythingLLM: bare gå inn i et arbeidsområde og trykk på opplastingsikonApplikasjonen er svært allsidig og godtar alt fra PDF-er, Word-dokumenter og CSV-filer til lydfiler, som den automatisk transkriberer ved hjelp av [uklart - muligens "transkripsjon" eller "transkripsjon"]. HvisketeknologiDu kan til og med importere innhold direkte fra nettsteds-URL-er eller GitHub-repositorier.
Det er her nøkkelkonseptet kommer inn: Legg ved kontra legg innHvis du bare trenger AI for å analysere et bestemt dokument for en rask samtale, kan du legg den ved i chattenMen hvis du ønsker at denne kunnskapen skal være permanent og tilgjengelig for fremtidig referanse på det området, bør du bruke alternativet til å legg inn dokumentet.
Når du bestemmer deg for å bygge inn noe, utfører AnythingLLM en teknisk prosess som kalles chunkingDette innebærer å dele opp teksten i små fragmenter, konvertere dem til vektorer og lagre dem i en database (som LanceDB eller Milvus). Dette lar AI-en søke kun etter relevant informasjon når du stiller et spørsmål. mest relevante fragmenter i stedet for å lese hele filen, og dermed optimalisere hastighet og nøyaktighet.
Avanserte innstillinger for å optimalisere svar
Noen ganger, når du prøver å legge til dokumenter i AnythingLLM, kan det føles som om AI-en ikke finner den nøyaktige informasjonen, eller at den begynner å hallusinere. For å fikse dette kan du gå inn i arbeidsområdeinnstillingene (tannhjulikonet) og justere Terskel for dokumentlikhetHvis du merker at resultatene er dårlige, kan du prøve å legge det inn "Ingen begrensning" slik at systemet er mindre selektivt når det henter fragmenter.
En annen viktig justering er Maksimalt antall kontekstutdragDette definerer hvor mange tekstbiter som sendes til modellen i hver spørring. Hvis du bruker modeller med store kontekstvinduer som Claude-3, kan du øke denne verdien, men vær forsiktig, da for mye irrelevant informasjon kan forårsake problemer. forvirre modellen og forringe kvaliteten på svaret.
Hvis du har et ekstremt kritisk dokument som absolutt ikke kan feile, finnes det en funksjon for å DokumentfestingNår en fil festes, setter AnythingLLM inn Fullstendig tekst i kontekstvinduet i stedet for å bruke RAG. Det er en tregere og mer token-intensiv prosess, men den sikrer at modellen har en full forståelse fra filen.
Brukstilfeller og automatiseringer
Allsidigheten til dette verktøyet lar deg lage fra en akademisk veileder som tester deg basert på lærebøkene dine, til et juridisk analysesystem der du kan sammenligne kontraktsklausuler uten personvernrisiko, siden alt kan behandles offline med Ollama.
For de mer avanserte brukerne finnes det Agentflytersom lar deg lage visuelle arbeidsflyter. For eksempel kan du sette opp en agent som sporer AI-nyheter på HackerNews og genererer en automatisk sammendragVidere er det mulig Koble AnythingLLM til n8n eller verktøy som Make.com og Zapier som bruker webhooks, slik at AI kan utføre reelle handlinger, for eksempel å legge til data i et Google-regneark.
Det er viktig å nevne at selv om grensesnittet er brukervennlig, kan det være utfordrende å administrere massive datasett. Dette bør man huske på når man legger til dokumenter i AnythingLLM. Noen brukere har rapportert at det kan være tregt å laste opp tusenvis av filer samtidig. blokker grensesnittet eller forårsake feil i vektordatabasen. I disse tilfellene kan sletting av vektorbuffer Å starte programmet på nytt er vanligvis den raskeste løsningen for å rense systemet og starte på nytt.
Alt tatt i betraktning kan vi bekrefte at det å legge til dokumenter i AnythingLLM er en enkel og svært praktisk oppgave, spesielt for alle som ønsker å mestre sine egne data gjennom kunstig intelligens, og kombinere brukervennligheten til en skrivebordsapp med kraften til RAG-systemer og fleksibiliteten til autonome agenter.
Redaktør spesialisert i teknologi og internettspørsmål med mer enn ti års erfaring i ulike digitale medier. Jeg har jobbet som redaktør og innholdsskaper for e-handel, kommunikasjon, online markedsføring og reklameselskaper. Jeg har også skrevet på nettsteder innen økonomi, finans og andre sektorer. Arbeidet mitt er også min lidenskap. Nå, gjennom artiklene mine i Tecnobits, Jeg prøver å utforske alle nyhetene og nye mulighetene som teknologiverdenen tilbyr oss hver dag for å forbedre livene våre.