Sådan bruger du Firecrawl til at udtrække indholdet af en webside

Vi vil fortælle dig, hvordan du bruger Firecrawl til at udtrække indholdet af en webside. Dette værktøj er et af de mest effektive af sin slags og er i stand til at omgå anti-bot-blokeringer og overvinde andre almindelige forhindringer. Derudover kan du bruge det på to måder: fra dets hjemmeside eller ved at integrere det via dets API. Vi fortæller dig alt om det nedenfor.

Hvad er Firecrawl, og hvorfor bør du bruge det?

 

Kunstig intelligens lever af data, og der er en enorm mængde data tilgængelig på nettet! Problemet er, at Hjemmesider er designet til at blive læst af mennesker, ikke maskiner.At fordøje menuer, overskrifter, annoncer, billeder, videoer, JavaScript, plus kamp med anti-bot-systemer, er for meget for en sprogmodel (LLM).

Det er her, webskrabningsværktøjer De bliver så nødvendige for at udtrække data fra websteder på en struktureret måde. Især Firecrawl er designet til at gøre dette med det formål at feedsprogmodeller, RAG-systemer og andre AI-miljøerDet, den gør, er at konvertere et websteds kaos til rene, strukturerede data, som en AI kan forstå direkte, uden behov for manuel rengøring.

Hvad er Firecrawl? En API til webskrabning at transformerer enhver webside til formater, som AI nemt kan forstå.såsom Markdown, HTML eller JSON. Den udtrækker ikke kun tekst, men forstår også komplekse websteder, der indlæser indhold ved hjælp af JavaScript, og administrerer automatisk proxyer og anti-bot-systemer. Kort sagt kan den håndtere alt, og derfor er det nyttigt at vide, hvordan man bruger Firecrawl til at udtrække indholdet af en webside.

Sådan bruger du Firecrawl til at udtrække indholdet af en webside

Som vi nævnte, er der to måder at bruge Firecrawl til at udtrække indhold fra en webside. Den ene er direkte fra dens firecrawl.dev hjemmeside. Du logger ind, indsætter linket i legepladsen, og platformen udfører scrapingen. Den leverer dataene i JSON- eller Markdown-format. Der er ingen grund til at installere noget, konfigurere nøgler eller skrive nogen kode.

Men hvis du har brug for at implementere værktøjet som en del af et stort projekt, er den bedste måde at integrer det ved hjælp af de officielle SDK'er til Python og Node.jsDu skal muligvis stadig anskaffe dig godkendelses-API'en og helst opgradere til en betalt plan (selvom du kan bruge Firecrawl gratis, er der betydelige begrænsninger i de avancerede funktioner).

Brug Firecrawl fra deres hjemmeside

At bruge Firecrawl til at udtrække indholdet af en webside fra legepladsen er den nemmeste måde at teste værktøjet på. Det første du skal gøre er Gå til frecrawl.dev og opret en gratis kontoDen gratis plan giver dig mulighed for at køre flere prøveperioder uden forpligtelser.

Når du er inde i dit kontrolpanel, skal du kigge efter sektionen kaldet "Legeplads" som er i menuen i venstre sidebar. Der kan du vælge mellem flere muligheder:

• Skrabe: Det bruges til at udtrække indholdet af en individuel webside. Det er den mulighed, du sandsynligvis vil bruge oftest.
• Kravle: Dette giver dig mulighed for at crawle et helt websted, hvilket er meget nyttigt, hvis du har brug for at udtrække dokumentation, blogs eller hele butikker.
• Kort: At finde alle de URL'er, der tilhører et websted.
• Søge: Det bruges til at søge på nettet og udtrække søgeresultater.

Du vælger muligheden, og så skal du bare Indsæt hjemmesideadressen som du vil udtrække i søgefeltet. Som et sidste trin skal du vælge det outputformat, som du vil modtage indholdet i:

• Nedsættelse: Det er det mest populære format til sprogmodeller. Du får ren tekst med grundlæggende formatering.
• HTML: HTML-koden er nu fri for unødvendige scripts og stilarter.
• JSON: Den leverer strukturerede data, ideelt hvis du har brug for at udtrække specifikke oplysninger såsom priser eller beskrivelser.
• Skærmbillede: Giv et skærmbillede af den gengivne side.
• Oversigt: Et AI-genereret resumé af hovedindholdet.

Når du har valgt outputformatet, skal du klikke på "Skrab" og Systemet behandler siden og viser dig resultatet i den samme brugerflade.Der kan du kopiere, downloade eller bruge det direkte i dit projekt. Det er meget simpelt at bruge Firecrawl til at udtrække indhold fra en webside som denne, men det er muligvis ikke tilstrækkeligt i visse tilfælde.

Brug Firecrawl til at udtrække indholdet af en webside ved hjælp af SDK'et

Hvis du har brug for at scrape i stor skala, er det den bedste løsning at bruge Firecrawl til at udtrække websideindhold ved hjælp af SDK'et. Du vil måske integrere det i applikationer, automatiserede arbejdsgange eller datapipelines, eller blot... Du skal behandle mange URL'erI disse tilfælde er det ikke længere praktisk at gøre det fra nettet: du er nødt til at skrive noget kode for at få alt klar.

Det første er Installer det officielle Firecrawl SDK i Python sammen med python-dotenv med følgende kommando pip install firecrawl-py python-dotenvDernæst skal du oprette en .env-fil i projektroden og indtaste din API-nøgle, som er tilgængelig i dine Firecrawl-kontoindstillinger: FIRECRAWL_API_KEY=fc-TU_API_KEY_AQUI.

Med dette kan du nu begynde at bruge Firecrawl til at udtrække websideindhold fra kommandolinjen. Med blot et par linjer kode får du det rene indhold i det format, du har brug for. Desuden, hvis du har brug for det Udtræk information fra flere sider, kan du bruge crawl så værktøjet automatisk kan finde alle links på en hjemmeside.

Integration af Firecrawl med andre AI-applikationer og -tjenester

Naturligvis er Firecrawl et værktøj, der kan integreres i andre værktøjer for at udnytte dets potentiale og brugervenlighed fuldt ud ved skrabning. For eksempel, Den har en MCP-server. hvis konfiguration du kan tilføje til andre AI-værktøjer og -tjenester såsom Claude, VS Code eller ChatGPT.

Derudover Firecrawl Den tilbyder præbyggede noder og moduler til integration på platforme som n8n, Zapier og Make. Og også Du kan installere det som et værktøj eller et dokumentuploaderprogram inden for frameworks som LangChain, LlamaIndex, CrewAI og Pydantic AI. Uanset om det er som hovedsoftware eller som et plugin, kan Firecrawl bruges til at udtrække indholdet af en webside.

Kort sagt, Firecrawl lader dig glemme alt om at rydde op i HTML og fokusere på det, der betyder mest: Brug indholdet til dine AI- og automatiseringsprojekterHvis du ikke er bekendt med dette værktøj, bør du sætte dig ind i det, hvis du vil tage din arbejdsgang til det næste niveau. Begynd at bruge Firecrawl nu til at udtrække indhold fra en webside.