Chúng tôi sẽ hướng dẫn bạn cách sử dụng Firecrawl để trích xuất nội dung của một trang web. Công cụ này là một trong những công cụ hiệu quả nhất thuộc loại này, có khả năng... vượt qua các khối chống bot và vượt qua những trở ngại phổ biến khác. Hơn nữa, bạn có thể sử dụng nó theo hai cách: từ trang web của nó hoặc bằng cách tích hợp nó thông qua API. Chúng tôi sẽ cho bạn biết tất cả về điều đó bên dưới.
Firecrawl là gì và tại sao bạn nên sử dụng nó?
Trí tuệ nhân tạo hoạt động dựa trên dữ liệu, và có một lượng dữ liệu khổng lồ trên mạng! Vấn đề là... Các trang web được thiết kế để con người đọc hiểu, chứ không phải máy móc.Việc xử lý menu, tiêu đề, quảng cáo, hình ảnh, video, JavaScript, cộng thêm việc phải đối phó với các hệ thống chống bot, là quá sức đối với một mô hình ngôn ngữ (LLM).
Đây là nơi công cụ trích xuất dữ liệu web Chúng trở nên vô cùng cần thiết để trích xuất dữ liệu từ các trang web một cách có cấu trúc. Đặc biệt, Firecrawl là một trong những công cụ được thiết kế để thực hiện việc này với mục đích... các mô hình ngôn ngữ cấp dữ liệu, hệ thống RAG và các môi trường AI khácChức năng của nó là chuyển đổi sự hỗn loạn của một trang web thành dữ liệu sạch, có cấu trúc mà trí tuệ nhân tạo có thể hiểu trực tiếp, mà không cần phải làm sạch thủ công.
Firecrawl là gì? Một API dành cho... thu thập dữ liệu web cái đó Chuyển đổi bất kỳ trang web nào thành các định dạng mà trí tuệ nhân tạo có thể dễ dàng hiểu được.Nó hỗ trợ nhiều định dạng như Markdown, HTML hoặc JSON. Không chỉ trích xuất văn bản, Firecrawl còn hiểu được các trang web phức tạp tải nội dung bằng JavaScript và tự động quản lý proxy cũng như hệ thống chống bot. Tóm lại, nó có thể xử lý mọi thứ, đó là lý do tại sao việc biết cách sử dụng Firecrawl để trích xuất nội dung của một trang web lại rất hữu ích.
Hướng dẫn cách sử dụng Firecrawl để trích xuất nội dung của một trang web.
Như đã đề cập, có hai cách sử dụng Firecrawl để trích xuất nội dung từ một trang web. Một là trực tiếp từ trang web đó. Trang web firecrawl.dev. Bạn đăng nhập, dán liên kết vào khu vực thử nghiệm, và nền tảng sẽ thực hiện việc thu thập dữ liệu. Nó cung cấp dữ liệu ở định dạng JSON hoặc Markdown. Không cần cài đặt bất cứ thứ gì, cấu hình khóa hay viết bất kỳ đoạn mã nào.
Nhưng nếu bạn cần triển khai công cụ này như một phần của dự án lớn, cách tốt nhất là... Tích hợp nó bằng cách sử dụng các SDK chính thức dành cho Python và Node.js.Tuy nhiên, bạn vẫn có thể cần phải lấy API xác thực và tốt hơn hết là nâng cấp lên gói trả phí (mặc dù bạn có thể sử dụng Firecrawl miễn phí, nhưng nó có những hạn chế đáng kể về các tính năng nâng cao).
Hãy sử dụng Firecrawl từ trang web của họ.
Sử dụng Firecrawl để trích xuất nội dung của một trang web từ môi trường thử nghiệm là cách dễ nhất để kiểm tra công cụ này. Việc đầu tiên cần làm là... Hãy truy cập frecrawl.dev và tạo một tài khoản miễn phí.Gói miễn phí cho phép bạn dùng thử nhiều lần mà không cần cam kết gì.
Sau khi vào bảng điều khiển, hãy tìm mục có tên là... "Sân chơi" Menu này nằm ở thanh bên trái. Tại đó, bạn có thể chọn từ một số tùy chọn:
- Thu thập dữ liệu: Nó được dùng để trích xuất nội dung của một trang web riêng lẻ. Đây có lẽ là tùy chọn bạn sẽ sử dụng thường xuyên nhất.
- Bò trườn: Tính năng này cho phép bạn thu thập dữ liệu từ toàn bộ trang web, rất hữu ích nếu bạn cần trích xuất tài liệu, bài đăng trên blog hoặc toàn bộ cửa hàng.
- Bản đồ: Tìm ra tất cả các URL thuộc về một trang web.
- Tìm kiếm: Nó được dùng để tìm kiếm trên web và trích xuất kết quả tìm kiếm.
Bạn chọn tùy chọn đó và sau đó bạn chỉ cần... Dán địa chỉ trang web Bạn cần nhập nội dung muốn trích xuất vào thanh tìm kiếm. Bước cuối cùng, bạn cần chọn định dạng đầu ra mà bạn muốn nhận nội dung đó:
- Markdown: Đây là định dạng phổ biến nhất cho các mô hình ngôn ngữ. Bạn sẽ nhận được văn bản sạch với định dạng cơ bản.
- HTML: Mã HTML hiện đã được loại bỏ các đoạn mã và kiểu dáng không cần thiết.
- JSON: Nó cung cấp dữ liệu có cấu trúc, lý tưởng nếu bạn cần trích xuất thông tin cụ thể như giá cả hoặc mô tả.
- Ảnh chụp màn hình: Vui lòng cung cấp ảnh chụp màn hình của trang đã được hiển thị.
- Bản tóm tắt: Bản tóm tắt nội dung chính do trí tuệ nhân tạo tạo ra.
Sau khi chọn định dạng đầu ra, hãy nhấp vào "Scrape" và Hệ thống sẽ xử lý trang và hiển thị kết quả cho bạn trên cùng một giao diện.Tại đó, bạn có thể sao chép, tải xuống hoặc sử dụng trực tiếp trong dự án của mình. Việc sử dụng Firecrawl để trích xuất nội dung từ một trang web như thế này rất đơn giản, nhưng có thể không đủ trong một số trường hợp.
Sử dụng Firecrawl để trích xuất nội dung của một trang web bằng SDK.
Nếu bạn cần thu thập dữ liệu trên quy mô lớn, sử dụng Firecrawl để trích xuất nội dung trang web bằng SDK là lựa chọn tốt nhất. Bạn có thể muốn tích hợp nó vào các ứng dụng, quy trình làm việc tự động, hoặc đường dẫn dữ liệu, hoặc đơn giản là... Bạn cần xử lý nhiều URL.Trong những trường hợp này, thực hiện từ web không còn khả thi nữa: bạn phải viết một số đoạn mã để chuẩn bị mọi thứ.
Điều đầu tiên là Cài đặt SDK Firecrawl chính thức trong Python cùng với python-dotenv với lệnh sau pip install firecrawl-py python-dotenvTiếp theo, bạn cần tạo một tệp .env trong thư mục gốc của dự án và nhập khóa API của mình, khóa này có sẵn trong cài đặt tài khoản Firecrawl của bạn: FIRECRAWL_API_KEY=fc-TU_API_KEY_AQUI.
Với điều này, giờ đây bạn có thể bắt đầu sử dụng Firecrawl để trích xuất nội dung trang web từ dòng lệnh. Chỉ với một vài dòng mã, bạn sẽ nhận được nội dung sạch ở định dạng cần thiết. Hơn nữa, nếu bạn cần Trích xuất thông tin từ nhiều trangbạn có thể sử dụng crawl để công cụ có thể tự động tìm tất cả các liên kết trên một trang web.
Tích hợp Firecrawl với các ứng dụng và dịch vụ AI khác
Dĩ nhiên, Firecrawl là một công cụ có thể được tích hợp với các công cụ khác để tận dụng tối đa tiềm năng và tính dễ sử dụng của nó khi thu thập dữ liệu. Ví dụ: Nó có máy chủ MCP. Bạn có thể thêm cấu hình này vào các công cụ và dịch vụ AI khác như Claude, VS Code hoặc ChatGPT.
Ngoài ra, Firecrawl Nó cung cấp các nút và mô-đun được xây dựng sẵn để tích hợp. trên các nền tảng như n8n, Zapier và Make. Và cả Bạn có thể cài đặt nó như một công cụ hoặc trình tải tài liệu. Trong các framework như LangChain, LlamaIndex, CrewAI và Pydantic AI, Firecrawl có thể được sử dụng như phần mềm chính hoặc plugin để trích xuất nội dung của một trang web.
Tóm lại, Firecrawl cho phép bạn quên đi việc dọn dẹp HTML và tập trung vào những điều quan trọng nhất: Sử dụng nội dung này cho các dự án trí tuệ nhân tạo và tự động hóa của bạn.Nếu bạn chưa quen với công cụ này, bạn nên làm quen với nó nếu muốn nâng cao hiệu quả công việc của mình. Hãy bắt đầu sử dụng Firecrawl ngay bây giờ để trích xuất nội dung từ một trang web.
Từ nhỏ, tôi đã say mê mọi thứ liên quan đến khoa học và công nghệ, đặc biệt là những tiến bộ giúp cuộc sống của chúng ta dễ dàng và thú vị hơn. Tôi thích cập nhật những tin tức và xu hướng mới nhất, và chia sẻ kinh nghiệm, ý kiến và lời khuyên của mình về các thiết bị và tiện ích mà tôi sử dụng. Điều này đã dẫn tôi trở thành một người viết nội dung web cách đây hơn năm năm, chủ yếu tập trung vào các thiết bị Android và hệ điều hành Windows. Tôi đã học cách giải thích các khái niệm phức tạp bằng những thuật ngữ đơn giản để người đọc có thể dễ dàng hiểu được.