- Το Cloudflare κατηγορεί το Perplexity ότι παρακάμπτει το robots.txt και καλύπτει την ανίχνευσή του με αδήλωτους πράκτορες χρήστη και διευθύνσεις IP.
- Η εταιρεία ισχυρίζεται ότι έχει παρατηρήσει αλλαγές στα ASN και εκατομμύρια αιτήματα καθημερινά σε δεκάδες χιλιάδες τομείς.
- Η Perplexity αρνείται τις μυστικές πρακτικές, αμφισβητεί τη μεθοδολογία και υποστηρίζει ότι η τεχνητή νοημοσύνη της λειτουργεί διαφορετικά από ένα παραδοσιακό πρόγραμμα ανίχνευσης.
- Το Cloudflare διαγράφει το Perplexity από τα επαληθευμένα bot και ενεργοποιεί κανόνες που εμποδίζουν την παρακολούθηση AI από προεπιλογή.
Η Cloudflare έχει σημάνει συναγερμό δημοσιεύοντας μια έκθεση στην οποία Κατηγορεί την μηχανή απαντήσεων Perplexity που τροφοδοτείται από τεχνητή νοημοσύνη ότι συνεχίζει να ανιχνεύει ιστότοπους παρά τα εμπόδια τοποθετημένα από τους ιδιοκτήτες τους. Σύμφωνα με τον πάροχο υποδομής, η υπηρεσία θα είχε Το robots.txt αγνοήθηκε και να παρακάμπτουν τα μπλοκαρίσματα δικτύου για πρόσβαση σε απαγορευμένο περιεχόμενο.
Σε ένα τοπίο όπου η Τεχνητή Νοημοσύνη καταβροχθίζει δεδομένα για να εκπαιδεύσει μοντέλα και να ανταποκριθεί σε πραγματικό χρόνο, το ισορροπία μεταξύ καινοτομίας και σεβασμού των κανόνων του διαδικτυακού οικοσυστήματος γίνεται τεταμένοΗ διαμάχη αναζωπυρώνει τη συζήτηση για το μη εξουσιοδοτημένη απόξεση και τα τεχνικά και ηθικά όρια με τα οποία θα πρέπει να συμμορφώνονται όσοι κατασκευάζουν προϊόντα βασισμένα σε μεγάλες ποσότητες διαδικτυακών πληροφοριών.
Τι αναφέρει το Cloudflare και γιατί είναι σημαντικό
Η εταιρεία ασφάλειας και απόδοσης δικτύων λέει ότι έλαβε παράπονα πελατών των οποίων οι ιστότοποι συνέχισαν να λαμβάνουν πρόσβαση που αποδίδεται στο Perplexity παρά το γεγονός ότι απαγορεύστε το στο robots.txt και να εφαρμόζουν τους κανόνες του WAF για να μπλοκάρουν τους δηλωμένους ιχνηλάτες τους. Μετά από έρευνα, η Cloudflare ισχυρίζεται ότι εντόπισε ένα μοτίβο μυστική παρακολούθηση ασύμβατο με τις προτιμήσεις των κατόχων ιστότοπων.
Ο προμηθευτής ισχυρίζεται ότι έχει παρατηρήσει αυτή τη συμπεριφορά σε δεκάδες χιλιάδες τομείς και εκατομμύρια αιτήματα καθημερινά, ένας τόμος που, κατά τη γνώμη του, δείχνει συστηματικές και όχι τυχαίες πρακτικές. Ως αποτέλεσμα, έχει αφαιρέσει το Perplexity από τη λίστα των επαληθευμένων bots του και έχει ενεργοποιήσει ευρετικές μεθόδους και διαχειριζόμενους κανόνες για αποκλεισμός αυτής της παρακολούθησης από προεπιλογή.
Πώς η αμηχανία θα είχε ξεπεράσει τα εμπόδια
Σύμφωνα με το Cloudflare, όταν σας δηλωμένοι ιχνηλάτες (όπως αναγνωρίζεται από τα ονόματα των πρακτόρων χρήστη του Perplexity) αντιμετώπισε σφάλμα, το σύστημα θα μεταβεί σε μιμείται ένα πρόγραμμα περιήγησης κοινό, παρουσιάζοντας τον εαυτό του σαν να ήταν Chrome σε macOS να καμουφλάρουν την ταυτότητά τους και αποφύγετε τον εντοπισμό.
Επιπλέον, οι προσβάσεις προέρχονταν από μη δημοσιευμένα εύρη IP από την αμηχανία και εναλλάσσεται συχνά, κάτι που θα δυσκόλευε το φιλτράρισμα. Η Cloudflare ισχυρίζεται επίσης ότι έχει δει αλλαγές στο ASN (αυτόνομα συστήματα) η προέλευση των αιτημάτων, ένα άλλο σημάδι αποφυγή αποκλεισμού δίκτυο.
Η έρευνα αναφέρει ότι η παρατηρούμενη συμπεριφορά δεν θα σεβόταν το πρότυπο από τα καλά προγράμματα ανίχνευσης που περιγράφονται στο RFC 9309 και στην πολιτική «επαληθευμένων bots»: διαφάνεια ταυτότητας (εκπρόσωπος, IP και στοιχεία επικοινωνίας), ηρεμιστική κίνηση, ένας σαφής στόχος και σεβασμός του robots.txt ήδη τα όρια που έχουν θέσει οι κάτοχοι ιστότοπων.
Η Cloudflare λέει ότι κατάφερε να «Άφησε ένα σημάδι» σε αυτήν την κυκλοφορία μέσω ενός συνδυασμού σήματα δικτύου και μηχανική μάθηση, προσθέτοντας υπογραφές στους διαχειριζόμενους κανόνες σας που αναγνωρίζουν και αποκλείουν αυτήν τη δραστηριότητα, ακόμη και για πελάτες του δωρεάν πρόγραμμα.
Δοκιμές με τομείς παραπλάνησης και αποτελέσματα
Για να επιβεβαιώσει τις υποψίες της, η ομάδα δημιούργησε νέοι και μη δημοσιευμένοι τομείς (δεν έχουν καταχωρηθεί ή δεν έχουν συνδεθεί δημόσια) και εφάρμοσαν μια πολιτική σε αυτά Πλήρης απαγόρευση του robots.txt, καθώς και συγκεκριμένους κανόνες για την απαγόρευση των bots του Perplexity. Αφού συμβουλεύτηκε την Τεχνητή Νοημοσύνη για αυτούς τους ιστότοπους, η Cloudflare ισχυρίζεται ότι πήρα απαντήσεις με λεπτομέρειες σχετικά με το φιλοξενούμενο περιεχόμενο, κάτι που—αν είναι σωστό—θα έδειχνε πρόσβαση παρά τα εμπόδια.
Όταν το μπλοκάρισμα ήταν αποτελεσματικό, η Cloudflare παρατήρησε ότι η Τεχνητή Νοημοσύνη του Perplexity κατέφυγαν σε εναλλακτικές πηγές για να δημιουργήσουμε μια απάντηση, αλλά λιγότερο ακριβής και χωρίς τις ιδιαιτερότητες του αρχικού υλικού, αντανακλώντας ότι το ο περιορισμός είχε λειτουργήσει.
Η επίσημη απάντηση της Perplexity
Η αμηχανία, από την πλευρά της, απορρίπτει τις κατηγορίες μυστικής παρακολούθησης και ισχυρισμούς ότι η Cloudflare έχει παρερμηνευμένος μέρος της δραστηριότητας που αναλύθηκε. Οι εκπρόσωποι της εταιρείας περιέγραψαν την έκθεση ως «εμπορικό κομμάτι» και ισχυρίζονται ότι ορισμένα στοιχεία δεν θα δοκίμαζαν πραγματικές προσβάσεις ή ακόμα και να αντιστοιχούν σε τα bots άλλων ανθρώπων.
Η νεοσύστατη εταιρεία μοιράστηκε επίσης τη θέση της σχετικά με δημοσιεύσεις στο X, όπου αμφισβητεί την ικανότητα του συστήματα ανίχνευσης να διακρίνω μεταξύ νόμιμοι βοηθοί τεχνητής νοημοσύνης, ιχνηλάτες τρίτων και κακόβουλη κίνηση. Επιπλέον, υποστηρίζει ότι ένα πράκτορας που αναζητά έγκαιρες πληροφορίες να απαντήσω σε ένα ερώτημα δεν λειτουργεί το ίδιο από ένα παραδοσιακό πρόγραμμα ανίχνευσης που ανιχνεύει μαζικά τον ιστό.
Μέτρα, ορθές πρακτικές και ο ρόλος άλλων φορέων
Στο πλαίσιο της στρατηγικής της, η Cloudflare έχει διαγράφηκε από το Perplexity από το μητρώο αξιόπιστων bots και έχει προσθέσει κανόνες για το μπλοκάρισμα υποτιθέμενη κρυφή παρακολούθηση. Η εταιρεία συνιστά στους διαχειριστές να ενεργοποιήσουν πολιτικές κατά των bots, Ισχύουν προκλήσεις όταν δεν επιθυμείται ένα συνολικό μπλοκάρισμα και χρησιμοποιούν συγκεκριμένους διαχειριζόμενους κανόνες έναντι του Απόξεση τεχνητής νοημοσύνης.
Στο επιχείρημά της, η Cloudflare αντιπαραβάλλει την υπόθεση με παραδείγματα συμμόρφωσης βέλτιστων πρακτικών, αναφέροντας παράγοντες που σεβασμός του robots.txt, να τεκμηριώνουν τους αντιπροσώπους τους και να υιοθετούν αναδυόμενα πρότυπα όπως Εξουσιοδότηση Web BotΣε συγκριτικές δοκιμές, ισχυρίζεται ότι άλλα bots σταμάτησαν όταν αντιμετωπίζετε απαγόρευση ή αποκλεισμό δικτύου, χωρίς καμουφλαρισμένες επαναλήψεις.
Μια σύγκρουση που σηματοδοτεί την πορεία του οικοσυστήματος
Ο προμηθευτής αναμένει ένα συνεχής εξέλιξη των τακτικών των χειριστών bot και των αμυντικών μέσων που χρησιμοποιούνται για τον περιορισμό τους. Παράλληλα, συμμετέχει σε εργασίες με ειδικούς και οργανισμούς όπως το IETF να παρορμήσεις Επεκτάσεις robots.txt και μετρήσιμες αρχές που θα πρέπει να τηρούν οι καλοπροαίρετοι ιχνηλάτες.
Πέρα από τον συγκεκριμένο παλμό, η υπόθεση θέτει στο τραπέζι το κρίση εμπιστοσύνης μεταξύ δημιουργών περιεχομένου, πλατφορμών και εταιρειών τεχνητής νοημοσύνης: ποιος μπορεί πρόσβαση σε τι, υπό ποιες συνθήκες και πώς κάντε το διαφανές χωρίς να διαταράσσονται τα επιχειρηματικά μοντέλα ή να επιβραδύνεται η καινοτομία. Όλα δείχνουν προς αυτή τη συζήτηση θα παραμείνει ανοιχτό ενώ οι πράκτορες της Τεχνητής Νοημοσύνης αποκτούν εξέχουσα θέση και ο ιστός προσαρμόζει τους κανόνες συνύπαρξής του.
Αυτό το επεισόδιο αφήνει ένα σαφές μήνυμα: Η παρακολούθηση της τεχνητής νοημοσύνης βρίσκεται υπό έλεγχο, με την Cloudflare να καταγγέλλει τακτικές καμουφλάζ που αποδίδονται στην Perplexity και την νεοσύστατη επιχείρηση το αρνείται κατηγορηματικά; στη μέση, οι κάτοχοι ιστότοπων έχουν πρόσβαση σε νέα εργαλεία για τον έλεγχο της πρόσβασης και ένα σύνολο ορθών πρακτικών υπό κατασκευή που θα σημαδέψει τον αγωνιστικό χώρο τους επόμενους μήνες.
Είμαι λάτρης της τεχνολογίας που έχει μετατρέψει τα «γκικ» ενδιαφέροντά του σε επάγγελμα. Έχω περάσει περισσότερα από 10 χρόνια της ζωής μου χρησιμοποιώντας τεχνολογία αιχμής και ασχολούμαι με όλα τα είδη προγραμμάτων από καθαρή περιέργεια. Τώρα έχω ειδικευτεί στην τεχνολογία υπολογιστών και στα βιντεοπαιχνίδια. Αυτό οφείλεται στο γεγονός ότι για περισσότερα από 5 χρόνια εργάζομαι γράφοντας για διάφορους ιστότοπους σχετικά με την τεχνολογία και τα βιντεοπαιχνίδια, δημιουργώντας άρθρα που επιδιώκουν να σας δώσουν τις πληροφορίες που χρειάζεστε σε μια γλώσσα κατανοητή από όλους.
Αν έχετε απορίες, οι γνώσεις μου κυμαίνονται από οτιδήποτε σχετίζεται με το λειτουργικό σύστημα Windows καθώς και με Android για κινητά τηλέφωνα. Και η δέσμευσή μου είναι απέναντί σας, είμαι πάντα πρόθυμος να αφιερώσω λίγα λεπτά και να σας βοηθήσω να επιλύσετε τυχόν απορίες που μπορεί να έχετε σε αυτόν τον κόσμο του Διαδικτύου.