كيفية استخدام برنامج Firecrawl لاستخراج محتوى صفحة ويب

سنشرح لكم كيفية استخدام برنامج Firecrawl لاستخراج محتوى صفحة ويب. تُعد هذه الأداة من أكثر الأدوات كفاءةً من نوعها، وهي قادرة على تجاوز حظر مكافحة البرامج الآلية والتغلب على العقبات الشائعة الأخرى. علاوة على ذلك، يمكنك استخدامه بطريقتين: من خلال موقعه الإلكتروني أو عبر دمجه من خلال واجهة برمجة التطبيقات (API). سنشرح لك كل شيء عنه أدناه.

ما هو برنامج Firecrawl ولماذا يجب عليك استخدامه؟

 

يعتمد الذكاء الاصطناعي على البيانات، وهناك كمية هائلة من البيانات متاحة على الإنترنت! تكمن المشكلة في أن تم تصميم مواقع الويب ليتم قراءتها من قبل البشر، وليس الآلات.إن استيعاب القوائم والعناوين والإعلانات والصور ومقاطع الفيديو وجافا سكريبت، بالإضافة إلى محاربة أنظمة مكافحة الروبوتات، هو أمر يفوق قدرة نموذج اللغة (LLM).

هذا هو المكان الذي... أدوات استخراج البيانات من مواقع الويب تُصبح هذه الأدوات ضرورية للغاية لاستخراج البيانات من مواقع الويب بطريقة منظمة. وعلى وجه الخصوص، يُعدّ برنامج Firecrawl أحد هذه الأدوات المصممة خصيصًا لهذا الغرض. نماذج لغة التغذية، وأنظمة RAG، وبيئات الذكاء الاصطناعي الأخرىما يفعله هو تحويل فوضى موقع الويب إلى بيانات نظيفة ومنظمة يمكن للذكاء الاصطناعي فهمها مباشرة، دون الحاجة إلى التنظيف اليدوي.

ما هو Firecrawl؟ واجهة برمجة تطبيقات لـ استخراج البيانات من مواقع الويب الذي - التي يحوّل أي صفحة ويب إلى تنسيقات يمكن للذكاء الاصطناعي فهمها بسهولة.مثل Markdown وHTML وJSON. لا يقتصر دوره على استخراج النصوص فحسب، بل يفهم أيضًا المواقع الإلكترونية المعقدة التي تُحمّل المحتوى باستخدام JavaScript، ويدير تلقائيًا الخوادم الوكيلة وأنظمة مكافحة البرامج الآلية. باختصار، يُمكنه التعامل مع كل شيء، ولذلك من المفيد معرفة كيفية استخدام Firecrawl لاستخراج محتوى صفحة ويب.

كيفية استخدام برنامج Firecrawl لاستخراج محتوى صفحة ويب

كما ذكرنا، هناك طريقتان لاستخدام Firecrawl لاستخراج المحتوى من صفحة ويب. إحداهما مباشرة من موقع firecrawl.dev. تقوم بتسجيل الدخول، ولصق الرابط في ساحة اللعب، وتقوم المنصة بعملية استخراج البيانات. يُقدّم البيانات بصيغة JSON أو Markdown. لا حاجة لتثبيت أي شيء، أو ضبط المفاتيح، أو كتابة أي كود.

لكن إذا كنت بحاجة إلى تطبيق الأداة كجزء من مشروع كبير، فإن أفضل طريقة هي قم بدمجه باستخدام حزم تطوير البرامج الرسمية للغة بايثون و Node.jsومع ذلك، قد لا تزال بحاجة إلى الحصول على واجهة برمجة تطبيقات المصادقة، ويفضل الترقية إلى خطة مدفوعة (على الرغم من أنه يمكنك استخدام Firecrawl مجانًا، إلا أن هناك قيودًا كبيرة في ميزاته المتقدمة).

استخدم برنامج Firecrawl من موقعه الإلكتروني

يُعد استخدام Firecrawl لاستخراج محتوى صفحة ويب من بيئة الاختبار أسهل طريقة لاختبار الأداة. أول ما يجب فعله هو انتقل إلى frecrawl.dev وقم بإنشاء حساب مجانيتتيح لك الخطة المجانية إجراء عدة تجارب دون أي التزام.

بمجرد دخولك إلى لوحة التحكم، ابحث عن القسم المسمى "ملعب" وهو موجود في قائمة الشريط الجانبي الأيسر. هناك يمكنك الاختيار من بين عدة خيارات:

• كشط: يُستخدم هذا الخيار لاستخراج محتوى صفحة ويب محددة. وهو الخيار الذي ستستخدمه على الأرجح في أغلب الأحيان.
• الزحف: يتيح لك هذا الزحف إلى موقع ويب كامل، وهو أمر مفيد للغاية إذا كنت بحاجة إلى استخراج الوثائق أو المدونات أو المتاجر بأكملها.
• رسم خريطة: لاكتشاف جميع عناوين URL التي تنتمي إلى موقع ويب.
• يبحث: يُستخدم للبحث في الويب واستخراج نتائج البحث.

تختار الخيار، ثم عليك فقط أن ألصق عنوان الموقع الإلكتروني أدخل النص الذي ترغب في استخراجه في شريط البحث. كخطوة أخيرة، عليك تحديد تنسيق الإخراج الذي ستتلقى به المحتوى:

• تخفيض السعر: إنه التنسيق الأكثر شيوعًا لنماذج اللغة. ستحصل على نص نظيف بتنسيق أساسي.
• HTML: أصبح كود HTML الآن خالياً من البرامج النصية والأنماط غير الضرورية.
• JSON: يوفر بيانات منظمة، وهو مثالي إذا كنت بحاجة إلى استخراج معلومات محددة مثل الأسعار أو الأوصاف.
• لقطة شاشة: يرجى تقديم لقطة شاشة للصفحة المعروضة.
• ملخص: ملخص للمحتوى الرئيسي تم إنشاؤه بواسطة الذكاء الاصطناعي.

بعد تحديد تنسيق الإخراج، انقر على "استخراج" و سيقوم النظام بمعالجة الصفحة وعرض النتيجة لك في نفس الواجهة.يمكنك هناك نسخ المحتوى أو تنزيله أو استخدامه مباشرةً في مشروعك. يُعدّ استخدام برنامج Firecrawl لاستخراج المحتوى من صفحة ويب كهذه أمرًا بسيطًا للغاية، ولكنه قد لا يكون كافيًا في بعض الحالات.

استخدم Firecrawl لاستخراج محتوى صفحة ويب باستخدام SDK

إذا كنت بحاجة إلى استخراج البيانات على نطاق واسع، فإن استخدام Firecrawl لاستخراج محتوى صفحات الويب باستخدام حزمة تطوير البرامج (SDK) هو الخيار الأمثل. قد ترغب في دمجه في التطبيقات، أو سير العمل الآلي، أو مسارات البيانات، أو ببساطة... أنت بحاجة إلى معالجة العديد من عناوين URLفي هذه الحالات، لم يعد القيام بذلك من خلال الويب عمليًا: عليك كتابة بعض التعليمات البرمجية لتجهيز كل شيء.

أول شيء هو قم بتثبيت حزمة تطوير البرامج الرسمية لـ Firecrawl في بايثون جنبا إلى جنب مع python-dotenv باستخدام الأمر التالي pip install firecrawl-py python-dotenvبعد ذلك، عليك إنشاء ملف .env في جذر المشروع وإدخال مفتاح API الخاص بك، والذي يتوفر في إعدادات حساب Firecrawl الخاص بك: FIRECRAWL_API_KEY=fc-TU_API_KEY_AQUI.

بهذا، يمكنك الآن البدء باستخدام Firecrawl لاستخراج محتوى صفحات الويب من سطر الأوامر. ببضعة أسطر من التعليمات البرمجية فقط، ستحصل على المحتوى النظيف بالتنسيق الذي تحتاجه. علاوة على ذلك، إذا كنت بحاجة استخلاص المعلومات من صفحات متعددةيمكنك استخدام crawl بحيث يمكن للأداة العثور تلقائيًا على جميع الروابط الموجودة على موقع الويب.

دمج Firecrawl مع تطبيقات وخدمات الذكاء الاصطناعي الأخرى

بطبيعة الحال، يُعدّ Firecrawl أداةً يمكن دمجها مع أدوات أخرى للاستفادة الكاملة من إمكانياتها وسهولة استخدامها عند استخراج البيانات. على سبيل المثال، يحتوي على خادم MCP. يمكنك إضافة إعداداته إلى أدوات وخدمات الذكاء الاصطناعي الأخرى مثل Claude أو VS Code أو ChatGPT.

بالإضافة إلى ذلك، فايركراول يوفر عقدًا ووحدات نمطية جاهزة للتكامل على منصات مثل n8n و Zapier و Make. وأيضًا يمكنك تثبيته كأداة أو كأداة لرفع المستندات ضمن أطر عمل مثل LangChain وLlamaIndex وCrewAI وPydantic AI. سواءً كان البرنامج الرئيسي أو إضافة، يمكن استخدام Firecrawl لاستخراج محتوى صفحة الويب.

باختصار، يتيح لك برنامج Firecrawl نسيان تنظيف HTML والتركيز على ما يهم أكثر: استخدم المحتوى في مشاريع الذكاء الاصطناعي والأتمتة الخاصة بكإذا لم تكن على دراية بهذه الأداة، فعليك التعرف عليها إذا كنت ترغب في الارتقاء بمستوى عملك. ابدأ باستخدام Firecrawl الآن لاستخراج المحتوى من صفحات الويب.