- Öppen källkodsplattform som möjliggör skapandet av lokala AI-assistenter med hjälp av RAG-teknik.
- Full kompatibilitet med modeller som körs på samma maskin eller via externa API:er.
- Absolut datasuveränitet genom att lagra kunskapsbasen och konversationer på användarens enhet.
- Flexibelt system av arbetsytor och agenter som kan utföra komplexa uppgifter utan mänsklig inblandning.
¿Hur använder man AnythingLLM utan att skicka sina dokument till molnet? Jag är säker på att du har varit där: du vill använda kraften i artificiell intelligens med dina egna filer, men tanken på din konfidentiell information hamnar på servrarna från något amerikanskt företag. Det finns en banbrytande lösning som låter dig Skapa en privat ChatGPT med AnythingLLM så att assistenten är helt ditt och privat.
Vi pratar om AnythingLLM, ett allt-i-ett-verktyg som förvandlar vilket dokument eller webbsida som helst till en interaktiv kunskapsbas. I grund och botten låter det dig bygga ett system där AI... Läs dina anteckningar innan du svararsäkerställa att inget är påhittat och att informationen förblir lagrad på din egen dator, borta från nyfikna ögon i molnet.
Vad handlar egentligen AnythingLLM om?
Enkelt uttryckt är det inte bara ett chattgränssnitt, utan ett komplett ekosystem utformat för dem som söker suveräniteten över dina uppgifterDet är en fullstack-applikation med öppen källkod (MIT-licens) utvecklad av Mintplex Labs, som fungerar som en säker brygga mellan dina privata filer och bearbetningsmöjligheterna hos språkmodeller (LLM).
Dess magi ligger i att den integrerar tre grundläggande pelare: RAG (Recovery Augmented Generation), vilket är det som möjliggör AI Konsultera dina specifika dokument. för att ge exakta svar; autonoma agenter, som kan utföra uppgifter som att sammanfatta webbplatser eller söka efter data; och otrolig flexibilitet att välja vilken "hjärna" du vill använda, oavsett om det är en installerad på din dator eller ett externt API.
Installations- och distributionsalternativ
Beroende på hur mycket du tycker om att experimentera med teknik finns det tre sätt att komma igång. Det första alternativet Skrivbordet är det enklasteperfekt för enskilda användare som vill Installera AnythingLLM på Windows steg för steg och börja chatta på fem minuter utan tekniska komplikationer.
Om du är en mer avancerad användare eller arbetar på ett företag, versionen Docker är det vinnande speletEftersom det är självhostat på din egen server kan du Installera och konfigurera AnythingLLM med Docker att hantera flera användare, tilldela roller och behörigheter, och till och med skapa chattwidgets för att integrera i andra interna webbplatser. Slutligen finns molnversionen, där Mintplex Labs hanterar allt underhåll, även om detta är det enda betalda alternativet.
Steg-för-steg-installation för en lokal miljö
Om du vill se till att ingenting lämnar din dator är det första steget att installera skrivbordsapplikationen. När den är öppen måste du välja din LLM-leverantör. För fullständig integritet är det bäst att ansluta lokala motorer som Ollama eller LM Studio, efter en Komplett guide för att ansluta AnythingLLM till Ollama genom att ange den lokala serverns URL.
Nästa steg är inbäddningsmodellen, som ansvarar för översätt dina texter till numeriska vektorer så att AI:n snabbt kan hitta dem. AnythingLLM innehåller redan en standardfunktion som heter all-MiniLM-L6-v2 som perfekt uppfyller sin funktion utan att kräva någon komplicerad konfiguration.
För att organisera informationen behöver du skapa en "Arbetsyta". Tänk på den som en temainriktad mapp där du kan Lägg till dokument till AnythingLLM såsom PDF-filer, Word-filer, CSV-filer eller till och med Du klistrar in URL:en till en webbplatsEfter att du har laddat upp filerna klickar du bara på "Spara och bädda in" för att programmet ska bearbeta informationen och spara den i vektordatabasen.
Driva AI med externa databaser som Milvus
Även om verktyget är helt integrerat kan mer krävande användare konfigurera Milvus som en vektordatabas. Detta görs från inställningsmenyn i avsnittet AI-leverantörer > Vektordatabasdär anslutningsuppgifterna för den lokala Milvus-servern anges. Detta möjliggör hantera mycket större datamängder med överlägsen sökeffektivitet.
När det är konfigurerat är arbetsflödet detsamma: ladda upp dokumentet till arbetsytan, flytta det till den aktiva miljön och bädda in det. Från och med då, när du ställer en fråga i chatten, AnythingLLM kommer att skanna din Milvus-databas att extrahera den exakta informationen och skriva svaret baserat enbart på dina källor.
Avancerade funktioner och intelligenta agenter
Det som skiljer det här verktyget från enklare verktyg är dess agentförmåga. Det svarar inte bara, utan kan surfa på webben, webbskrapning och till och med analysera YouTube-videor genom att transkribera dem för att extrahera essensen av innehållet. För programmerare är det en pärla, eftersom det gör det möjligt importera hela arkiv från GitHub att ställa direkta frågor om koden.
Dessutom har den en funktion som heter "Flöden" som låter dig kedja samman agenters färdigheter för att skapa automatiserade arbetsflöden. Detta är steget före det som kallas Agent RAGdär AI inte bara hämtar data, utan resonerar kring den och förfinar sin egen sökning tills den hittar det perfekta svaret.
Sekretess, säkerhet och jämförelse
När det gäller säkerhet, när du kör det i skrivbords- eller Docker-läge, Dina konversationer och API-nycklar lämnar aldrig din datorDet är dock viktigt att hålla ett öga på uppdateringar, eftersom den, liksom all programvara, kan ha sårbarheter. Det rekommenderas att undvika att bearbeta filer från tvivelaktiga källor för att förhindra snabba injektionsattacker.
Jämfört med andra alternativ är PrivateGPT mer minimalistiskt, medan Open WebUI fokuserar mer på chattens estetik. AnythingLLM positionerar sig som den perfekt mittpunktDen är mer komplett än den första och mer fokuserad på kunskapshantering än den andra, och är den mest balanserade lösningen för dem som vill ha en digital "andra hjärna".
Brinner för teknik sedan han var liten. Jag älskar att vara uppdaterad inom branschen och framför allt kommunicera den. Det är därför jag har varit dedikerad till kommunikation på teknik- och videospelswebbplatser i många år nu. Du kan hitta mig som skriver om Android, Windows, MacOS, iOS, Nintendo eller något annat relaterat ämne som du tänker på.