Cloudflare 針對 Perplexity 追蹤被封鎖的網站

Cloudflare 已發出警報 透過發布一份報告， 指責人工智慧答案引擎 Perplexity 無視障礙繼續抓取網站 由其所有者放置。據基礎設施提供商稱，該服務將 robots.txt 被忽略 並繞過網路封鎖來存取被禁內容。

在人工智慧吞噬資料來訓練模型並即時回應的環境中， 創新與尊重網路生態系統規則之間的平衡 變得緊張這場爭議再次引發了關於 未經授權的抓取 以及那些基於大量線上資訊建立產品的人應該遵守的技術和道德限制。

Cloudflare 報告的內容及其重要性

網路安全和性能公司表示已收到 客戶投訴 儘管 在 robots.txt 中禁止它 並適用規則 WAF 阻止其聲明的追蹤器。 Cloudflare 經過調查後聲稱偵測到了以下模式： 秘密追蹤 與網站所有者的偏好不符。

供應商聲稱在 數萬個域名 和 每天有數百萬個請求在他看來，這本書展現的是系統的實踐，而非偶然的實踐。因此， 已將 Perplexity 從其已驗證機器人清單中移除 並已啟動啟發式方法和管理規則 阻止此跟踪 默認情況下。

Perplexity 如何克服障礙

根據 Cloudflare 的說法，當您的 聲明的追蹤器 （由 Perplexity 用戶代理名稱標識）遇到崩潰，系統將轉到 類比瀏覽器 很常見，表現得好像 macOS 上的 Chrome 偽裝自己的身分和 避免被發現.

此外，訪問來自 未發布的 IP 範圍 透過困惑和 經常輪換，這會使過濾變得困難。 Cloudflare 也聲稱已經看到了 ASN（自治系統） 請求的來源，另一個跡象 阻止規避 網絡。

研究提到，觀察到的行為 不會尊重模式 描述的優秀爬蟲 RFC 9309 並在其「已驗證機器人」政策中：身份透明（代理、IP 和聯繫人）， 交通平靜化，明確的目標和 尊重 robots.txt 已經是網站所有者設定的限制。

Cloudflare 表示，它已經能夠 “留下痕跡” 透過以下方式組合來處理此流量 網路訊號與機器學習，將簽名新增至您的託管規則中，以識別和封鎖此活動，即使對於 免費計劃.

使用誘餌域名進行測試並得出結果

為了證實他們的懷疑，團隊創建了 新的和未發布的域名 （未編入索引或公開連結）並對其應用了政策 全面禁止 robots.txt以及禁止 Perplexity 機器人的具體規則。在諮詢了這些網站的 AI 後，Cloudflare 聲稱 得到了答案 關於託管內容的詳細信息，如果正確的話，這將表明 克服障礙.

當阻止生效時，Cloudflare 觀察到 Perplexity 的 AI 訴諸其他來源 建立回應，但是 不太精確 並且沒有原始材料的特殊性，反映出 限制措施已奏效.

Perplexity 的官方回應

困惑，就其本身而言， 否認指控 隱蔽跟踪以及 Cloudflare 聲稱 被誤解 所分析活動的一部分。公司發言人將報告描述為 “商業片” 他們聲稱，一些證據 他們不會測試真實的訪問 甚至對應於 其他人的機器人.

該新創公司也分享了其立場 X 出版品，他質疑 檢測系統 區分 合法的人工智慧助手、第三方追蹤器和惡意流量。此外，它還認為 尋求及時資訊的代理 回答詢問 效果不一樣 比傳統的大規模爬蟲網路爬蟲快得多。

措施、良好做法和其他行為體的作用

作為其策略的一部分，Cloudflare 已 從 Perplexity 中除名 從其受信任的機器人註冊表中，並添加了 阻止規則 其所謂的隱藏追蹤功能。該公司建議管理員激活 反機器人政策，申請 挑戰 當不需要完全阻止並使用特定的託管規則時 AI抓取.

Cloudflare 在辯論中將此案與 合規範例 最佳實踐，列舉了 尊重 robots.txt記錄他們的代理並採用新興標準，例如 Web 機器人驗證在對比測試中，它聲稱其他機器人 他們停了下來 當遭遇網路禁令或阻斷時， 無需偽裝重試.

一場標誌著生態系統過程的衝突

供應商預計 不斷發展 機器人操作員的策略以及用於遏制它們的防禦措施。同時，他也參與了與專家和組織（例如 IETF 衝動 robots.txt 擴充 以及善意追蹤者應該遵守的可衡量的原則。

除了具體的脈搏之外，該案件還提出了 信任危機 內容創作者、平台與人工智慧公司之間：誰能 訪問什麼在什麼條件下以及如何 使其透明 不會破壞商業模式，也不會減緩創新。一切都指向這場對話 將繼續開放 隨著人工智慧代理變得越來越突出，網路也調整了其共存規則。

這段故事傳達了一個明確的訊息： 人工智慧追蹤正在接受審查Cloudflare 譴責 Perplexity 和這家新創公司的偽裝策略 堅決否認；在中間，網站所有者可以訪問 新工具 控制存取和一組 良好做法 正在建設中，將在未來幾個月內標誌著比賽場地的建成。