כיצד להשתמש ב-Firecrawl כדי לחלץ תוכן של דף אינטרנט

אנחנו הולכים לספר לכם איך להשתמש ב-Firecrawl כדי לחלץ את התוכן של דף אינטרנט. כלי זה הוא אחד היעילים ביותר מסוגו, ומסוגל... עקיפת חסימות אנטי-בוט ולהתגבר על מכשולים נפוצים אחרים. יתר על כן, ניתן להשתמש בו בשתי דרכים: מאתר האינטרנט שלו או על ידי שילובו דרך ה-API שלו. נספר לכם על כך בהמשך.

מה זה Firecrawl ולמה כדאי להשתמש בו?

 

בינה מלאכותית ניזונה מנתונים, ויש כמות עצומה של נתונים זמינה באינטרנט! הבעיה היא ש אתרי אינטרנט נועדו להיקרא על ידי בני אדם, לא על ידי מכונות.עיכול תפריטים, כותרות, מודעות, תמונות, סרטונים, ג'אווה סקריפט, בנוסף למאבק במערכות אנטי-בוטים, זה יותר מדי עבור מודל שפה (LLM).

זה המקום שבו ה- כלי גירוד אתרים הם הופכים להיות כל כך נחוצים לחילוץ נתונים מאתרים בצורה מובנית. בפרט, Firecrawl נועד לעשות זאת למטרת מודלים של שפת הזנות, מערכות RAG וסביבות בינה מלאכותית אחרותמה שזה עושה הוא להמיר את הכאוס של אתר אינטרנט לנתונים נקיים ומובנים שבינה מלאכותית יכולה להבין ישירות, ללא צורך בניקוי ידני.

מה זה Firecrawl? ממשק API עבור גירוד אתרים זֶה הופך כל דף אינטרנט לפורמטים שבינה מלאכותית יכולה להבין בקלות.כמו Markdown, HTML או JSON. זה לא רק מחלץ טקסט אלא גם מבין אתרים מורכבים שטוענים תוכן באמצעות JavaScript ומנהל אוטומטית פרוקסי ומערכות אנטי-בוט. בקיצור, זה יכול להתמודד עם הכל, ולכן כדאי לדעת כיצד להשתמש ב-Firecrawl כדי לחלץ את התוכן של דף אינטרנט.

כיצד להשתמש ב-Firecrawl כדי לחלץ תוכן של דף אינטרנט

כפי שציינו, ישנן שתי דרכים להשתמש ב-Firecrawl כדי לחלץ תוכן מדף אינטרנט. אחת היא ישירות ממנו. אתר firecrawl.dev. אתם מתחברים, מדביקים את הקישור למגרש המשחקים, והפלטפורמה מבצעת את הסקראפטינג. הוא מספק את הנתונים בפורמט JSON או Markdown. אין צורך להתקין דבר, להגדיר מפתחות או לכתוב קוד כלשהו.

אבל אם אתם צריכים ליישם את הכלי כחלק מפרויקט גדול, הדרך הטובה ביותר היא לשלב אותו באמצעות ערכות ה-SDK הרשמיות עבור Python ו-Node.jsעם זאת, ייתכן שעדיין תצטרכו להשיג את ממשק ה-API לאימות, ועדיף לשדרג לתוכנית בתשלום (למרות שניתן להשתמש ב-Firecrawl בחינם, ישנן מגבלות משמעותיות בתכונות המתקדמות שלו).

השתמשו ב-Firecrawl מהאתר שלהם

השימוש ב-Firecrawl כדי לחלץ את תוכן דף האינטרנט ממגרש המשחקים הוא הדרך הקלה ביותר לבדוק את הכלי. הדבר הראשון שיש לעשות הוא עבור אל frecrawl.dev וצור חשבון חינמיהתוכנית החינמית מאפשרת לך להפעיל מספר גרסאות ניסיון ללא התחייבות.

לאחר שנכנסים ללוח הבקרה, חפשו את הקטע שנקרא "גן שעשועים" שנמצא בתפריט הצד השמאלי. שם תוכלו לבחור מבין מספר אפשרויות:

• לְגַרֵד: הוא משמש לחילוץ תוכן של דף אינטרנט בודד. זוהי האפשרות שתשתמש בה ככל הנראה בתדירות הגבוהה ביותר.
• לִזחוֹל: זה מאפשר לך לסרוק אתר אינטרנט שלם, שימושי מאוד אם אתה צריך לחלץ תיעוד, בלוגים או חנויות שלמות.
• מַפָּה: כדי לגלות את כל כתובות ה-URL השייכות לאתר אינטרנט.
• לְחַפֵּשׂ: הוא משמש לחיפוש באינטרנט ולחילוץ תוצאות חיפוש.

אתה בוחר את האפשרות ואז אתה רק צריך הדבק את כתובת האתר שברצונך לחלץ בסרגל החיפוש. כשלב אחרון, עליך לבחור את פורמט הפלט שבו תקבל את התוכן:

• הנחה: זהו הפורמט הפופולרי ביותר עבור מודלים של שפה. תקבלו טקסט נקי עם עיצוב בסיסי.
• HTML: קוד ה-HTML נקי כעת מסקריפטים וסגנונות מיותרים.
• JSON: הוא מספק נתונים מובנים, אידיאלי אם אתם צריכים לחלץ מידע ספציפי כמו מחירים או תיאורים.
• צילום מסך: ספק צילום מסך של הדף המעובד.
• תַקצִיר: סיכום של התוכן העיקרי שנוצר על ידי בינה מלאכותית.

לאחר שבחרתם את פורמט הפלט, לחצו על "גרד" ו... המערכת תעבד את הדף ותציג לכם את התוצאה באותו ממשק.שם תוכלו להעתיק, להוריד או להשתמש בו ישירות בפרויקט שלכם. שימוש ב-Firecrawl כדי לחלץ תוכן מדף אינטרנט כזה הוא פשוט מאוד, אך ייתכן שהוא לא יספיק במקרים מסוימים.

השתמש ב-Firecrawl כדי לחלץ את תוכן דף אינטרנט באמצעות ה-SDK

אם אתם צריכים לבצע סקראפ בקנה מידה גדול, האפשרות הטובה ביותר היא להשתמש ב-Firecrawl כדי לחלץ תוכן של דפי אינטרנט באמצעות ה-SDK. ייתכן שתרצו לשלב אותו ביישומים, זרימות עבודה אוטומטיות או צינורות נתונים, או פשוט... עליך לעבד כתובות URL רבותבמקרים אלה, לעשות זאת מהאינטרנט כבר לא מעשי: צריך לכתוב קוד כלשהו כדי להכין הכל.

הדבר הראשון הוא התקן את ערכת פיתוח התוכנה הרשמית של Firecrawl בפייתון יחד עם python-dotenv עם הפקודה הבאה pip install firecrawl-py python-dotenvבשלב הבא, עליך ליצור קובץ .env בשורש הפרויקט ולהזין את מפתח ה-API שלך, הזמין בהגדרות חשבון Firecrawl שלך: FIRECRAWL_API_KEY=fc-TU_API_KEY_AQUI.

בעזרת זה, תוכלו להתחיל להשתמש ב-Firecrawl כדי לחלץ תוכן של דפי אינטרנט משורת הפקודה. בעזרת מספר שורות קוד בלבד, תקבלו תוכן נקי בפורמט שאתם צריכים. יתר על כן, אם אתם צריכים... חילוץ מידע ממספר עמודים, אתה יכול להשתמש crawl כך שהכלי יוכל למצוא באופן אוטומטי את כל הקישורים באתר.

שילוב Firecrawl עם יישומים ושירותים אחרים של בינה מלאכותית

באופן טבעי, Firecrawl הוא כלי שניתן לשלבו בכלים אחרים כדי לנצל את מלוא הפוטנציאל שלו וקלות השימוש בו בעת גירוד. לדוגמה, יש לו שרת MCP. שאת התצורה שלה ניתן להוסיף לכלי ושירותי בינה מלאכותית אחרים כגון Claude, VS Code או ChatGPT.

בנוסף, זחילת אש הוא מציע צמתים ומודולים מוכנים מראש לאינטגרציה בפלטפורמות כמו n8n, Zapier ו-Make. וגם ניתן להתקין אותו ככלי או ככלי להעלאת מסמכים בתוך מסגרות כמו LangChain, LlamaIndex, CrewAI ו-Pydantic AI. בין אם כתוכנה עיקרית או כתוסף, ניתן להשתמש ב-Firecrawl כדי לחלץ את תוכן דף אינטרנט.

בקיצור, Firecrawl מאפשר לך לשכוח מניקוי HTML ולהתמקד במה שחשוב ביותר: השתמשו בתוכן עבור פרויקטים של בינה מלאכותית ואוטומציה שלכםאם אינך מכיר את הכלי הזה, כדאי לך להכיר אותו אם אתה רוצה לקחת את זרימת העבודה שלך לשלב הבא. התחילו להשתמש ב-Firecrawl עכשיו כדי לחלץ תוכן מדף אינטרנט.