Wikipedia sottu pressione annantu à u trafficu massivu di crawler AI

In l'ultimi mesi, e plataformi digitali anu focu annantu à a spartera libera di a cunniscenza anu cuminciatu à mustrà segni di fatica in fronte à l'attività crescente di u trackers di intelligenza artificiale. I servizii cum'è Wikipedia anu una pressione senza precedente nantu à a so infrastruttura, generata micca da un veru aumentu di l'utilizatori umani, ma da L'infaticabile attività di i bots cuncintrau à catturà dati per alimentate mudelli AI generativi.

Questi trackers, spessu camuffati o micca chjaramente identificati, U so scopu hè di cullà massivamente testi, imagine, video è altri materiali publichi dispunibili nantu à u web. cù u scopu di migliurà a furmazione di mudelli di lingua è sistemi di generazione di cuntenutu visuale.

Wikipedia è u costu di esse apertu

A Fundazione Wikimedia, chì mantene Wikipedia è prughjetti cunnessi, hà annunziatu Dapoi u principiu di u 2024, u trafficu nantu à i so servitori hè aumentatu da 50%.. Stu aumentu ùn saria guidatu da l'interessu spontaneu di i lettori, ma da bots chì sò dedicati à scannà sistematicamente u cuntenutu dispunibule. In fatti, hè stimatu chì Circa dui terzi di u trafficu direttu à i centri di dati più caru vene da sti strumenti automatizati..

U prublema hè cumpostu da u fattu chì parechji di sti bots ignore e linee guida stabilite in u schedariu 'robots.txt', chì hè tradiziunale utilizatu per marcà quali parti di un situ web ponu o ùn ponu esse indiziati da e macchine. Questa violazione di a regula hà allungatu e risorse di Wikimedia, impediscendu l'accessu normale di l'utilizatori è impactendu u rendiment generale di u serviziu. Stu tipu d'attività pò esse paragunabili à spyware chì afecta a privacy di l'utilizatori.

"U cuntenutu hè apertu, ma mantene a dispunibilità hè caru."L'urganizazione spiega. L'ospitu, u serviziu è a prutezzione di milioni d'articuli è schedari ùn hè micca liberu, ancu s'è qualchissia pò accede à elli senza pagà.

U prublema si estende à altri anguli di l'ecosistema liberu

Ùn hè micca solu Wikipedia chì soffre l'effetti di a cugliera di dati indiscriminata da i bots AI.. E cumunità di software liberu è sviluppatori sò ancu affettati negativamente. I siti chì ospitanu documentazioni tecniche, biblioteche di codice, o arnesi open source signalanu un incrementu bruscu di u trafficu, spessu impussibile di trattà senza cunsequenze finanziarie. A preoccupazione di quale ti spia mentre navighi hè sempre più pertinente..

L'ingegnere Gergely Orosz, per esempiu, Hà vistu cumu in una materia di settimane unu di i so prughjetti multiplica u so cunsumu di larghezza di banda per sette.. Sta situazione hà finitu per generà costi inesperu per via di u trafficu eccessivu chì avia da assume.

Per contru à sta situazione, i sviluppatori cum'è Xe Iaso anu creatu strumenti cum'è dia, un proxy inversu chì forza i visitori à un situ web per passà una breve prova prima di accede à u cuntenutu. L'obiettivu hè di filtrà i bots, chì generalmente fallenu sti testi, è di priorità l'accessu umanu. Tuttavia, sti metudi anu efficacità limitata, postu chì I crawlers AI sò in continua evoluzione per evità questi ostaculi., aduprendu tecniche cum'è l'usu di l'indirizzi IP residenziale o frequenti cambiamenti d'identità.

Da a difesa à l'offisa: trappule per i bots

Certi sviluppatori anu aduttatu strategie più proattive. Strumenti cum'è Nepenthes o Labirintu AI, l'ultimi alimentati da servizii cum'è Cloudflare, sò stati pensati per attirare i bots in un labirinto di contenuti falsi o irrilevanti. In questu modu, i crawlers perdenu risorse chì cercanu di scrape l'infurmazioni senza valore, mentre chì i sistemi legittimi sò menu caricati.

U dilema di i mudelli web gratuiti è AI

Sta situazione cuntene un cunflittu sottostanti: U paradossu chì l'apertura di l'Internet, chì hà facilitatu u sviluppu di l'intelligenza artificiale, minaccia avà a viabilità di i spazii digitale chì alimentanu a stessa IA.. L'imprese di grande tecnulugia facenu prufitti enormi furmendu i so mudelli nantu à u cuntenutu gratuitu, ma Di solitu ùn cuntribuiscenu micca à u mantenimentu di l'infrastruttura chì a rende pussibule.

E fundazioni è e cumunità affettate insistenu chì Un novu pattu di coesistenza digitale hè necessariu. Questu deve include, almenu, i seguenti aspetti:

• Cuntributi finanziarii da cumpagnie AI à e plataforme chì utilizanu cum'è fonte di dati.
• Implementazione di API specifiche per accede à u cuntenutu in modu regulatu, scalabile è sustinibule.
• Scrupulous observance of bot exclusion rules, cum'è 'robots.txt', chì parechji strumenti attualmente ignoranu.
• Attribuzione di cuntenutu riutilizatu, cusì chì u valore di i cuntributori originali hè ricunnisciutu.

Wikimedia è altri urgenu à l'azzione

Al di là di iniziative individuali, A Fundazione Wikimedia favurizeghja misure coordinate per impedisce u colapsu di a so infrastruttura. Piattaforme cum'è Stack Overflow anu digià cuminciatu à carricà per l'accessu automatizatu à u so cuntenutu, è hè pussibule chì l'altri seguitanu se a situazione ùn si migliurà.

A pressione eccessiva chì i bots AI esercitanu nantu à prughjetti vuluntarii è senza prufittu pò finisce per accelerà a chjusura o a restrizione di l'accessu liberu à a maiò parte di a cunniscenza in linea. Una cunsequenza paradossale, cunziddi chì sti fonti sò stati chjave per l'avanzamentu di a tecnulugia chì oghje minaccia a so esistenza. A necessità di un navigatore sicuru hè essenziale in questa situazione..

A sfida attuale hè truvà un mudellu per un usu rispunsevule di risorse digitali aperti, chì assicura a sustenibilità di i dui mudelli AI è a reta di cunniscenza cullaburazione chì li sustene.

Se un equilibriu ghjustu trà sfruttamentu è cullaburazione ùn hè micca ottenutu, L'ecosistema web chì hà alimentatu i più grandi avanzati in AI puderia ancu diventà una di e so vittimi principali..