Wikipedia pod tlakom kvôli masívnej návštevnosti prehľadávačov AI

V posledných mesiacoch sa digitálne platformy zamerali na bezplatné zdieľanie vedomostí začali prejavovať známky únavy zoči-voči zvyšujúcej sa aktivite sledovače umelej inteligencie. Služby ako Wikipedia zažívajú bezprecedentný tlak na svoju infraštruktúru, ktorý nie je spôsobený skutočným nárastom ľudských používateľov, ale Neúnavná aktivita robotov sa zamerala na získavanie údajov na kŕmenie generatívnych modelov AI.

Tieto sledovače, často maskované alebo nie sú jasne identifikované, Ich účelom je masívne zhromažďovať texty, obrázky, videá a iné verejné materiály dostupné na webe. s cieľom zlepšiť tréning jazykových modelov a systémov generovania vizuálneho obsahu.

Wikipedia a náklady na otvorenie

Oznámila to nadácia Wikimedia Foundation, ktorá spravuje Wikipédiu a súvisiace projekty Od začiatku roka 2024 sa návštevnosť na jej serveroch zvýšila o 50 %.. Tento nárast by nebol spôsobený spontánnym záujmom čitateľov, ale tým roboty, ktoré sa venujú systematickému skenovaniu dostupného obsahu. V skutočnosti sa to odhaduje Približne dve tretiny prevádzky smerujúcej do najdrahších dátových centier pochádzajú z týchto automatizovaných nástrojov..

Problém je znásobený skutočnosťou, že mnoho z týchto robotov ignorovať stanovené pokyny v súbore „robots.txt“, ktorý sa tradične používa na označenie, ktoré časti webovej lokality môžu alebo nemôžu byť indexované strojmi. Toto porušenie pravidiel predĺžilo zdroje Wikimedia, obmedzilo normálny prístup používateľov a ovplyvnilo celkový výkon služby. Tento typ činnosti môže byť porovnateľný s spyware, ktorý ovplyvňuje súkromie používateľov.

„Obsah je otvorený, ale udržiavanie jeho dostupnosti je drahé.„Organizácia vysvetľuje. Hosting, poskytovanie a ochrana miliónov článkov a súborov nie je zadarmo, hoci k nim môže pristupovať ktokoľvek bez platenia.

Problém sa rozširuje aj do iných kútov voľného ekosystému

Nie je to len Wikipedia, ktorá trpí účinkami nerozlišujúceho zberu údajov robotmi AI.. Negatívne sú ovplyvnené aj komunity slobodného softvéru a vývojári. Stránky hosťujúce technickú dokumentáciu, knižnice kódov alebo nástroje s otvoreným zdrojovým kódom hlásia náhly nárast návštevnosti, ktorý sa často nedá zvládnuť bez finančných následkov. Obavy z toho, kto vás počas prehliadania špehuje, sú čoraz relevantnejšie..

Napríklad inžinier Gergely Orosz Videl, ako v priebehu niekoľkých týždňov jeden z jeho projektov znásobil spotrebu šírky pásma siedmimi.. Táto situácia mu nakoniec spôsobila neočakávané náklady v dôsledku nadmernej návštevnosti, ktorú musel sám prevziať.

Aby sa zabránilo tejto situácii, vývojári ako Xe Iaso vytvorili nástroje ako Anubis, reverzný proxy, ktorý núti návštevníkov webovej stránky absolvovať krátky test pred prístupom k obsahu. Cieľom je odfiltrovať roboty, ktoré v týchto testoch vo všeobecnosti zlyhávajú, a uprednostniť ľudský prístup. Tieto metódy však majú obmedzenú účinnosť, pretože AI prehľadávače sa neustále vyvíjajú, aby sa vyhli týmto prekážkam.pomocou techník, ako je používanie rezidenčných IP adries alebo časté zmeny identity.

Od obrany k útoku: pasce na roboty

Niektorí vývojári prijali proaktívnejšie stratégie. Nástroje ako napr Nepenthes o Labyrint umelej inteligencie, posledné poháňané službami ako Cloudflare, boli navrhnuté tak, aby nalákať robotov do bludiska falošného alebo irelevantného obsahu. Týmto spôsobom prehľadávače plytvajú zdrojmi pri pokuse o zoškrabanie bezcenných informácií, zatiaľ čo legitímne systémy sú menej zaťažené.

Dilema bezplatného webu a modelov AI

Táto situácia obsahuje základný konflikt: Paradox, že otvorenie internetu, ktorý uľahčil vývoj umelej inteligencie, teraz ohrozuje životaschopnosť digitálnych priestorov, ktoré živia rovnakú AI.. Veľké technologické spoločnosti dosahujú obrovské zisky školením svojich modelov na bezplatnom obsahu, ale Zvyčajne neprispievajú k údržbe infraštruktúry, ktorá to umožňuje.

Trvajú na tom dotknuté nadácie a komunity Je potrebný nový pakt o digitálnom spolužití. To by malo zahŕňať aspoň tieto aspekty:

• Finančné príspevky od spoločností AI na platformy, ktoré používajú ako zdroj údajov.
• Implementácia špecifických API prístup k obsahu regulovaným, škálovateľným a udržateľným spôsobom.
• Dôsledné dodržiavanie pravidiel vylúčenia robotov, ako napríklad „robots.txt“, ktorý mnohé nástroje v súčasnosti ignorujú.
• Pripisovanie opätovne použitého obsahu, aby bola uznaná hodnota pôvodných prispievateľov.

Wikimedia a iní naliehajú na akciu

Okrem individuálnych iniciatív, Nadácia Wikimedia Foundation obhajuje koordinované opatrenia zabrániť kolapsu ich infraštruktúry. Platformy ako Stack Overflow už začali spoplatňovať automatizovaný prístup k ich obsahu a je možné, že ak sa situácia nezlepší, budú ich nasledovať aj ďalšie.

Nadmerný tlak, ktorý roboti AI vyvíjajú na dobrovoľné a neziskové projekty môže skončiť urýchlením uzavretia alebo obmedzenia voľného prístupu k veľkej časti vedomostí online. Paradoxný dôsledok, ak vezmeme do úvahy, že tieto zdroje boli kľúčové pre pokrok technológie, ktorá dnes ohrozuje ich existenciu. Potreba bezpečného prehliadača je v tejto situácii nevyhnutná..

Aktuálna výzva je nájsť model zodpovedného využívania otvorených digitálnych zdrojov, ktorá zaisťuje udržateľnosť modelov AI aj siete kolaboratívnych znalostí, ktorá ich podporuje.

Ak sa nedosiahne spravodlivá rovnováha medzi využívaním a spoluprácou, Jednou z jeho hlavných obetí by sa mohol stať aj webový ekosystém, ktorý podporil najväčší pokrok v AI..