મોટા પાયે AI ક્રાઉલર ટ્રાફિકને કારણે વિકિપીડિયા દબાણ હેઠળ છે

તાજેતરના મહિનાઓમાં, ડિજિટલ પ્લેટફોર્મ્સ જ્ઞાનના મફત આદાનપ્રદાન પર ધ્યાન કેન્દ્રિત કરે છે વધતી જતી પ્રવૃત્તિ સામે થાકના ચિહ્નો દેખાવા લાગ્યા છે કૃત્રિમ બુદ્ધિ ટ્રેકર્સ. વિકિપીડિયા જેવી સેવાઓ તેમના માળખાગત સુવિધાઓ પર અભૂતપૂર્વ દબાણ અનુભવી રહી છે, જે માનવ વપરાશકર્તાઓમાં વાસ્તવિક વધારાને કારણે નહીં, પરંતુ જનરેટિવ AI મોડેલ્સને ફીડ કરવા માટે ડેટા કેપ્ચર કરવા પર ધ્યાન કેન્દ્રિત કરતી બોટ્સની અથાક પ્રવૃત્તિ.

આ ટ્રેકર્સ, ઘણીવાર છુપાયેલું અથવા સ્પષ્ટ રીતે ઓળખાતું નથી, તેમનો હેતુ વેબ પર ઉપલબ્ધ ટેક્સ્ટ્સ, છબીઓ, વિડિઓઝ અને અન્ય જાહેર સામગ્રીને મોટા પાયે એકત્રિત કરવાનો છે. ભાષા મોડેલો અને દ્રશ્ય સામગ્રી જનરેશન સિસ્ટમ્સની તાલીમ સુધારવાના ઉદ્દેશ્ય સાથે.

વિકિપીડિયા અને ખુલ્લા રહેવાની કિંમત

વિકિપીડિયા અને સંબંધિત પ્રોજેક્ટ્સનું સંચાલન કરતા વિકિમીડિયા ફાઉન્ડેશને જાહેરાત કરી છે કે 2024 ની શરૂઆતથી, તેના સર્વર પર ટ્રાફિકમાં 50% નો વધારો થયો છે.. આ વધારો વાચકોના સ્વયંભૂ રસથી નહીં, પરંતુ ઉપલબ્ધ સામગ્રીને વ્યવસ્થિત રીતે સ્કેન કરવા માટે સમર્પિત બોટ્સ. હકીકતમાં, એવો અંદાજ છે કે સૌથી મોંઘા ડેટા સેન્ટરો તરફ જતા ટ્રાફિકનો લગભગ બે તૃતીયાંશ ભાગ આ સ્વચાલિત સાધનોમાંથી આવે છે..

સમસ્યા એ હકીકતથી વધુ જટિલ બને છે કે આમાંના ઘણા બોટ્સ સ્થાપિત માર્ગદર્શિકાઓની અવગણના કરો 'robots.txt' ફાઇલમાં, જેનો ઉપયોગ પરંપરાગત રીતે વેબસાઇટના કયા ભાગોને મશીનો દ્વારા ઇન્ડેક્સ કરી શકાય છે અને કયા ભાગોને ઇન્ડેક્સ કરી શકાતા નથી તે ચિહ્નિત કરવા માટે થાય છે. આ નિયમ ઉલ્લંઘનને કારણે વિકિમીડિયાના સંસાધનોનો ઉપયોગ ઓછો થયો છે, જેના કારણે સામાન્ય વપરાશકર્તાની ઍક્સેસમાં અવરોધ આવ્યો છે અને સેવાના એકંદર પ્રદર્શન પર અસર પડી છે. આ પ્રકારની પ્રવૃત્તિની તુલના કરી શકાય છે સ્પાયવેર જે વપરાશકર્તાઓની ગોપનીયતાને અસર કરે છે.

"સામગ્રી ખુલ્લી છે, પરંતુ તેને ઉપલબ્ધ રાખવી ખર્ચાળ છે."સંસ્થા સમજાવે છે. લાખો લેખો અને ફાઇલોને હોસ્ટ કરવી, સર્વ કરવી અને સુરક્ષિત કરવી મફત નથી, ભલે કોઈપણ તેમને ચૂકવણી કર્યા વિના ઍક્સેસ કરી શકે.

આ સમસ્યા મુક્ત ઇકોસિસ્ટમના અન્ય ખૂણાઓ સુધી વિસ્તરે છે.

એઆઈ બોટ્સ દ્વારા આડેધડ ડેટા હાર્વેસ્ટિંગની અસરો ફક્ત વિકિપીડિયા જ ભોગવી રહી નથી.. ફ્રી સોફ્ટવેર સમુદાયો અને વિકાસકર્તાઓ પણ નકારાત્મક રીતે પ્રભાવિત થાય છે. ટેકનિકલ દસ્તાવેજીકરણ, કોડ લાઇબ્રેરીઓ અથવા ઓપન સોર્સ ટૂલ્સ હોસ્ટ કરતી સાઇટ્સ ટ્રાફિકમાં અચાનક વધારો નોંધાવી રહી છે, જેને નાણાકીય પરિણામો વિના સંભાળવું ઘણીવાર અશક્ય છે. જ્યારે તમે બ્રાઉઝ કરો છો ત્યારે કોણ તમારી જાસૂસી કરી રહ્યું છે તે અંગેની ચિંતા વધુને વધુ સુસંગત બની રહી છે..

ઇજનેર ગેર્જલી ઓરોઝ, ઉદાહરણ તરીકે, તેમણે જોયું કે કેવી રીતે તેમના એક પ્રોજેક્ટે થોડા અઠવાડિયામાં બેન્ડવિડ્થ વપરાશને સાતથી વધારી દીધો.. આ પરિસ્થિતિમાં વધુ પડતા ટ્રાફિકને કારણે અણધાર્યા ખર્ચો થયા, જે તેમણે પોતે માની લેવો પડ્યો.

આ પરિસ્થિતિનો સામનો કરવા માટે, Xe Iaso જેવા વિકાસકર્તાઓએ જેવા સાધનો બનાવ્યા છે એનિબસ, એક રિવર્સ પ્રોક્સી જે વેબસાઇટ પર મુલાકાતીઓને સામગ્રી ઍક્સેસ કરતા પહેલા એક ટૂંકી પરીક્ષા પાસ કરવાની ફરજ પાડે છે. ધ્યેય એ છે કે બોટ્સને ફિલ્ટર કરવામાં આવે, જે સામાન્ય રીતે આ પરીક્ષણોમાં નિષ્ફળ જાય છે, અને માનવ ઍક્સેસને પ્રાથમિકતા આપવામાં આવે. જોકે, આ પદ્ધતિઓની અસરકારકતા મર્યાદિત છે, કારણ કે આ અવરોધોને ટાળવા માટે AI ક્રોલર્સ સતત વિકસિત થઈ રહ્યા છે., રહેણાંક IP સરનામાંનો ઉપયોગ અથવા વારંવાર ઓળખમાં ફેરફાર જેવી તકનીકોનો ઉપયોગ કરીને.

બચાવથી હુમલા સુધી: બોટ્સ માટે ફાંસો

કેટલાક વિકાસકર્તાઓએ વધુ સક્રિય વ્યૂહરચના અપનાવી છે. સાધનો જેમ કે Nepenthes o એઆઈ ભુલભુલામણી, ક્લાઉડફ્લેર જેવી સેવાઓ દ્વારા સંચાલિત બાદમાં, ડિઝાઇન કરવામાં આવ્યું છે બોટ્સને નકલી અથવા અપ્રસ્તુત સામગ્રીના ચક્રવ્યૂહમાં ફસાવવું. આ રીતે, ક્રોલર્સ નકામી માહિતીને સ્ક્રેપ કરવાનો પ્રયાસ કરીને સંસાધનોનો બગાડ કરે છે, જ્યારે કાયદેસર સિસ્ટમો પર ઓછો બોજ પડે છે.

ફ્રી વેબ અને એઆઈ મોડેલ્સની મૂંઝવણ

આ પરિસ્થિતિમાં એક અંતર્ગત સંઘર્ષ છે: કૃત્રિમ બુદ્ધિમત્તાના વિકાસને સરળ બનાવનાર ઇન્ટરનેટના ઉદઘાટનથી હવે તે જ AI ને પોષણ આપતી ડિજિટલ જગ્યાઓની સધ્ધરતા સામે ખતરો ઉભો થાય છે તે વિરોધાભાસ.. મોટી ટેક કંપનીઓ તેમના મોડેલોને મફત સામગ્રી પર તાલીમ આપીને મોટો નફો કમાય છે, પરંતુ તેઓ સામાન્ય રીતે તે શક્ય બનાવે છે તે માળખાના જાળવણીમાં ફાળો આપતા નથી.

અસરગ્રસ્ત ફાઉન્ડેશનો અને સમુદાયો આગ્રહ રાખે છે કે એક નવો ડિજિટલ સહઅસ્તિત્વ કરાર જરૂરી છે. આમાં ઓછામાં ઓછા નીચેના પાસાઓનો સમાવેશ થવો જોઈએ:

• AI કંપનીઓ તરફથી નાણાકીય યોગદાન ડેટા સ્ત્રોત તરીકે તેઓ જે પ્લેટફોર્મનો ઉપયોગ કરે છે તેના પર.
• ચોક્કસ API નું અમલીકરણ નિયંત્રિત, સ્કેલેબલ અને ટકાઉ રીતે સામગ્રીને ઍક્સેસ કરવા માટે.
• બોટ બાકાત રાખવાના નિયમોનું કડક પાલન, જેમ કે 'robots.txt', જેને ઘણા ટૂલ્સ હાલમાં અવગણે છે.
• ફરીથી ઉપયોગમાં લેવાયેલી સામગ્રીનું એટ્રિબ્યુશન, જેથી મૂળ ફાળો આપનારાઓનું મૂલ્ય ઓળખાય.

વિકિમીડિયા અને અન્ય લોકો કાર્યવાહી કરવાની વિનંતી કરે છે

વ્યક્તિગત પહેલથી આગળ, વિકિમીડિયા ફાઉન્ડેશન સંકલિત પગલાંની હિમાયત કરી રહ્યું છે તેમના માળખાગત સુવિધાઓના પતનને રોકવા માટે. સ્ટેક ઓવરફ્લો જેવા પ્લેટફોર્મ્સે તેમની સામગ્રીની સ્વચાલિત ઍક્સેસ માટે ચાર્જ લેવાનું શરૂ કરી દીધું છે, અને જો પરિસ્થિતિમાં સુધારો નહીં થાય તો અન્ય પ્લેટફોર્મ પણ તેનું પાલન કરે તેવી શક્યતા છે.

સ્વૈચ્છિક અને બિન-લાભકારી પ્રોજેક્ટ્સ પર AI રોબોટ્સ દ્વારા કરવામાં આવતું અતિશય દબાણ ઓનલાઈન જ્ઞાનના મોટા ભાગની મફત ઍક્સેસ બંધ કરવા અથવા પ્રતિબંધિત કરવાની પ્રક્રિયાને વેગ આપી શકે છે. એક વિરોધાભાસી પરિણામ, કારણ કે આ સ્ત્રોતો આજે તેમના અસ્તિત્વને જોખમમાં મૂકતી ટેકનોલોજીના વિકાસ માટે ચાવીરૂપ રહ્યા છે. આ પરિસ્થિતિમાં સુરક્ષિત બ્રાઉઝરની જરૂરિયાત ખૂબ જ મહત્વપૂર્ણ છે..

હાલનો પડકાર એ છે કે ખુલ્લા ડિજિટલ સંસાધનોના જવાબદાર ઉપયોગ માટે એક મોડેલ શોધો, જે AI મોડેલો અને તેમને સમર્થન આપતા સહયોગી જ્ઞાન નેટવર્ક બંનેની ટકાઉપણું સુનિશ્ચિત કરે છે.

જો શોષણ અને સહયોગ વચ્ચે વાજબી સંતુલન પ્રાપ્ત ન થાય, AI માં સૌથી મોટી પ્રગતિને વેગ આપનાર વેબ ઇકોસિસ્ટમ પણ તેના મુખ્ય ભોગ બની શકે છે..