ജെമിനിയിലെ ഒരു ഫോട്ടോയിലേക്ക് ഓർഡറുകൾ ഒളിപ്പിച്ചു കടത്താൻ അവർ ഒരു വഴി കണ്ടെത്തി: ലളിതമായ സ്കെയിലിംഗ് AI-യെ അവ നടപ്പിലാക്കാൻ അനുവദിക്കുന്നു.

ഒരു കൂട്ടം ഗവേഷകർ കഴിവുള്ള ഒരു നുഴഞ്ഞുകയറ്റ രീതി രേഖപ്പെടുത്തിയിട്ടുണ്ട് ചിത്രങ്ങളിൽ മറഞ്ഞിരിക്കുന്ന നിർദ്ദേശങ്ങൾ കുത്തിവച്ച് വ്യക്തിഗത വിവരങ്ങൾ മോഷ്ടിക്കുന്നുആ ഫയലുകൾ ജെമിനി പോലുള്ള മൾട്ടിമോഡൽ സിസ്റ്റങ്ങളിലേക്ക് അപ്‌ലോഡ് ചെയ്യുമ്പോൾ, ഓട്ടോമാറ്റിക് പ്രീപ്രൊസസിംഗ് കമാൻഡുകൾ സജീവമാക്കുന്നു, കൂടാതെ AI അവ സാധുവാണെന്ന മട്ടിൽ പിന്തുടരുന്നു.

ദി ട്രെയിൽ ഓഫ് ബിറ്റ്സ് റിപ്പോർട്ട് ചെയ്ത ഈ കണ്ടെത്തൽ ഉൽപ്പാദന പരിതസ്ഥിതികളെ ബാധിക്കുന്നു. ജെമിനി CLI, വെർട്ടെക്സ് AI സ്റ്റുഡിയോ, ജെമിനി API, ഗൂഗിൾ അസിസ്റ്റന്റ് അല്ലെങ്കിൽ ജെൻസ്പാർക്ക് പോലുള്ളവയഥാർത്ഥ ലോക പരിതസ്ഥിതികളിൽ ഇതുവരെ ചൂഷണം നടന്നതിന് തെളിവുകളൊന്നുമില്ലാത്തതിനാൽ, വ്യവസായത്തിന് ഇത് ഒരു പ്രധാന വെല്ലുവിളിയാണെന്ന് ഗൂഗിൾ അംഗീകരിച്ചിട്ടുണ്ട്. മോസില്ലയുടെ 0Din പ്രോഗ്രാമിലൂടെയാണ് ഈ അപകടസാധ്യത സ്വകാര്യമായി റിപ്പോർട്ട് ചെയ്തത്.

ഇമേജ് സ്കെയിലിംഗ് ആക്രമണം എങ്ങനെ പ്രവർത്തിക്കുന്നു

വിശകലനത്തിനു മുമ്പുള്ള ഘട്ടത്തിലാണ് താക്കോൽ: നിരവധി AI പൈപ്പ്‌ലൈനുകൾ ഇമേജുകളെ സ്റ്റാൻഡേർഡ് റെസല്യൂഷനുകളിലേക്ക് (224×224 അല്ലെങ്കിൽ 512×512) യാന്ത്രികമായി വലുപ്പം മാറ്റുക.പ്രായോഗികമായി, മോഡൽ യഥാർത്ഥ ഫയൽ കാണുന്നില്ല, പകരം ഒരു സ്കെയിൽ-ഡൗൺ പതിപ്പാണ് കാണുന്നത്, അവിടെയാണ് ക്ഷുദ്രകരമായ ഉള്ളടക്കം വെളിപ്പെടുന്നത്.

ആക്രമണകാരികൾ ചേർക്കൽ അദൃശ്യമായ വാട്ടർമാർക്കുകളാൽ മറയ്ക്കപ്പെട്ട മൾട്ടിമോഡൽ പ്രോംപ്റ്റുകൾ, പലപ്പോഴും ഫോട്ടോയുടെ ഇരുണ്ട ഭാഗങ്ങളിൽ. അപ്‌സ്കേലിംഗ് അൽഗോരിതങ്ങൾ പ്രവർത്തിക്കുമ്പോൾ, ഈ പാറ്റേണുകൾ ഉയർന്നുവരുന്നു, മോഡൽ അവയെ നിയമാനുസൃത നിർദ്ദേശങ്ങളായി വ്യാഖ്യാനിക്കുന്നു, ഇത് അനാവശ്യ പ്രവർത്തനങ്ങൾക്ക് കാരണമാകും.

നിയന്ത്രിത പരീക്ഷണങ്ങളിൽ, ഗവേഷകർക്ക് Google കലണ്ടറിൽ നിന്ന് ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്‌ത് ഒരു ബാഹ്യ ഇമെയിലിലേക്ക് അയയ്‌ക്കുക. ഉപയോക്തൃ സ്ഥിരീകരണമില്ലാതെ. കൂടാതെ, ഈ സാങ്കേതിക വിദ്യകൾ കുടുംബവുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു ദ്രുത കുത്തിവയ്പ്പ് ആക്രമണങ്ങൾ ഏജന്റ് ടൂളുകളിൽ (ക്ലോഡ് കോഡ് അല്ലെങ്കിൽ ഓപ്പൺഎഐ കോഡെക്സ് പോലുള്ളവ) ഇതിനകം പ്രദർശിപ്പിച്ചിരിക്കുന്നു, കഴിവുള്ളത് വിവരങ്ങൾ പുറന്തള്ളുക അല്ലെങ്കിൽ ഓട്ടോമേഷൻ പ്രവർത്തനങ്ങൾ ട്രിഗർ ചെയ്യുക സുരക്ഷിതമല്ലാത്ത ഒഴുക്കുകളെ ചൂഷണം ചെയ്യുന്നു.

വിതരണ വെക്റ്റർ വിശാലമാണ്: ഒരു വെബ്‌സൈറ്റിലെ ഒരു ചിത്രം, വാട്ട്‌സ്ആപ്പിൽ പങ്കിട്ട ഒരു മീം അല്ലെങ്കിൽ എ ഫിഷിംഗ് കാമ്പെയ്‌ൻ കഴിഞ്ഞു ഉള്ളടക്കം പ്രോസസ്സ് ചെയ്യാൻ AI-യോട് ആവശ്യപ്പെടുമ്പോൾ പ്രോംപ്റ്റ് സജീവമാക്കുകവിശകലനത്തിന് മുമ്പ് AI പൈപ്പ്‌ലൈൻ സ്കെയിലിംഗ് നടത്തുമ്പോൾ ആക്രമണം യാഥാർത്ഥ്യമാകുമെന്ന് ഊന്നിപ്പറയേണ്ടത് പ്രധാനമാണ്; ആ ഘട്ടത്തിലൂടെ കടന്നുപോകാതെ ചിത്രം കാണുന്നത് അത് പ്രവർത്തനക്ഷമമാക്കുന്നില്ല.

അതിനാൽ, കണക്റ്റുചെയ്‌ത ഉപകരണങ്ങളിലേക്ക് AI ആക്‌സസ് ഉള്ള ഫ്ലോകളിലാണ് അപകടസാധ്യത കേന്ദ്രീകരിച്ചിരിക്കുന്നത് (ഉദാ., ഇമെയിലുകൾ അയയ്ക്കുക, കലണ്ടറുകൾ പരിശോധിക്കുക അല്ലെങ്കിൽ API-കൾ ഉപയോഗിക്കുക): സുരക്ഷാ സംവിധാനങ്ങളൊന്നുമില്ലെങ്കിൽ, ഉപയോക്തൃ ഇടപെടലില്ലാതെ അത് അവ നടപ്പിലാക്കും.

ദുർബലമായ അൽഗോരിതങ്ങളും ഉപകരണങ്ങളും ഉൾപ്പെട്ടിരിക്കുന്നു

ആക്രമണം ചില അൽഗോരിതങ്ങൾ എങ്ങനെ ചൂഷണം ചെയ്യുന്നു എന്നതിനെയാണ് ചൂഷണം ചെയ്യുന്നത് ഉയർന്ന റെസല്യൂഷനിലുള്ള വിവരങ്ങൾ കുറഞ്ഞ പിക്സലുകളായി ചുരുക്കുക വലിപ്പം കുറയ്ക്കുമ്പോൾ: ഏറ്റവും അടുത്തുള്ള അയൽക്കാരന്റെ ഇന്റർപോളേഷൻ, ബിലീനിയർ ഇന്റർപോളേഷൻ, ബിക്യൂബിക് ഇന്റർപോളേഷൻ. വലുപ്പം മാറ്റുന്നത് അതിജീവിക്കാൻ സന്ദേശത്തിന് ഓരോന്നിനും വ്യത്യസ്തമായ എംബെഡിംഗ് സാങ്കേതികത ആവശ്യമാണ്.

ഈ നിർദ്ദേശങ്ങൾ ഉൾച്ചേർക്കാൻ ഓപ്പൺ സോഴ്‌സ് ഉപകരണം ഉപയോഗിച്ചു. അനാമോർഫർ, ടാർഗെറ്റ് സ്കെയിലിംഗ് അൽഗോരിതം അടിസ്ഥാനമാക്കി ചിത്രങ്ങളിലേക്ക് പ്രോംപ്റ്റുകൾ കുത്തിവയ്ക്കാനും അവയെ സൂക്ഷ്മമായ പാറ്റേണുകളിൽ മറയ്ക്കാനും രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. AI യുടെ ഇമേജ് പ്രീപ്രൊസസ്സിംഗ് പിന്നീട് ആത്യന്തികമായി അവയെ വെളിപ്പെടുത്തുന്നു.

പ്രോംപ്റ്റ് വെളിപ്പെടുത്തിക്കഴിഞ്ഞാൽ, മോഡലിന് കഴിയും സാപ്പിയർ പോലുള്ള സംയോജനങ്ങൾ സജീവമാക്കുക (അല്ലെങ്കിൽ IFTTT പോലുള്ള സേവനങ്ങൾ) ചെയിൻ ആക്ഷനുകളും: ഡാറ്റ ശേഖരണം, മൂന്നാം കക്ഷി സേവനങ്ങളിലേക്ക് ഇമെയിലുകൾ അല്ലെങ്കിൽ കണക്ഷനുകൾ അയയ്ക്കൽ, എല്ലാം ഒരു സാധാരണ ഒഴുക്കിനുള്ളിൽ.

ചുരുക്കത്തിൽ, ഇത് ഒരു വിതരണക്കാരന്റെ ഒറ്റപ്പെട്ട പരാജയമല്ല, മറിച്ച് സ്കെയിൽ ചെയ്ത ചിത്രങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിലെ ഘടനാപരമായ ബലഹീനത ടെക്സ്റ്റ്, വിഷൻ, ടൂളുകൾ എന്നിവ സംയോജിപ്പിക്കുന്ന മൾട്ടിമോഡൽ പൈപ്പ്‌ലൈനുകൾക്കുള്ളിൽ.

ലഘൂകരണ നടപടികളും നല്ല രീതികളും

ഗവേഷകർ ശുപാർശ ചെയ്യുന്നു സാധ്യമാകുമ്പോഴെല്ലാം ഡൗൺസ്കെയിലിംഗ് ഒഴിവാക്കുക. പകരം, ലോഡ് അളവുകൾ പരിമിതപ്പെടുത്തുകസ്കെയിലിംഗ് ആവശ്യമായി വരുമ്പോൾ, ഒരു മോഡൽ യഥാർത്ഥത്തിൽ കാണുന്നതിന്റെ പ്രിവ്യൂ, CLI ടൂളുകളിലും API-യിലും, കൂടാതെ പോലുള്ള കണ്ടെത്തൽ ടൂളുകൾ ഉപയോഗിക്കുക. ഗൂഗിൾ സിന്തൈഡ്.

ഡിസൈൻ തലത്തിൽ, ഏറ്റവും ശക്തമായ പ്രതിരോധം സുരക്ഷാ പാറ്റേണുകളും വ്യവസ്ഥാപിത നിയന്ത്രണങ്ങളും സന്ദേശ കുത്തിവയ്പ്പിനെതിരെ: ഒരു ചിത്രത്തിൽ ഉൾച്ചേർത്ത ഒരു ഉള്ളടക്കവും ആരംഭിക്കാൻ കഴിയില്ല. വ്യക്തമായ സ്ഥിരീകരണം ഇല്ലാതെ സെൻസിറ്റീവ് ഉപകരണങ്ങളിലേക്കുള്ള കോളുകൾ ഉപയോക്താവിന്റെ.

പ്രവർത്തന തലത്തിൽ, അത് വിവേകപൂർണ്ണമാണ് ജെമിനിയിൽ അജ്ഞാതമായ ചിത്രങ്ങൾ അപ്‌ലോഡ് ചെയ്യുന്നത് ഒഴിവാക്കുക. അസിസ്റ്റന്റിനോ ആപ്പുകളോ (ഇമെയിൽ, കലണ്ടർ, ഓട്ടോമേഷനുകൾ മുതലായവയിലേക്കുള്ള ആക്‌സസ്) അനുവദിച്ചിരിക്കുന്ന അനുമതികൾ ശ്രദ്ധാപൂർവ്വം അവലോകനം ചെയ്യുക. ഈ തടസ്സങ്ങൾ സാധ്യതയുള്ള ആഘാതത്തെ ഗണ്യമായി കുറയ്ക്കുന്നു.

സാങ്കേതിക ടീമുകൾക്ക്, മൾട്ടിമോഡൽ പ്രീപ്രോസസിംഗ് ഓഡിറ്റ് ചെയ്യുന്നതിനും, ആക്ഷൻ സാൻഡ്‌ബോക്‌സ് കഠിനമാക്കുന്നതിനും, അസാധാരണമായ പാറ്റേണുകളെക്കുറിച്ചുള്ള റെക്കോർഡ്/അറിയിപ്പ് ചിത്രങ്ങൾ വിശകലനം ചെയ്തതിന് ശേഷം ടൂൾ സജീവമാക്കൽ. ഇത് ഉൽപ്പന്ന-തല പ്രതിരോധത്തെ പൂരകമാക്കുന്നു.

എല്ലാം നമ്മൾ നേരിടുന്ന വസ്തുതയിലേക്ക് വിരൽ ചൂണ്ടുന്നു ദ്രുത കുത്തിവയ്പ്പിന്റെ മറ്റൊരു വകഭേദം ദൃശ്യ ചാനലുകളിൽ പ്രയോഗിക്കുന്നു. പ്രതിരോധ നടപടികൾ, ഇൻപുട്ട് പരിശോധന, നിർബന്ധിത സ്ഥിരീകരണങ്ങൾ എന്നിവയിലൂടെ, ചൂഷണത്തിന്റെ പരിധി കുറയുകയും ഉപയോക്താക്കൾക്കും ബിസിനസുകൾക്കും അപകടസാധ്യത പരിമിതപ്പെടുത്തുകയും ചെയ്യുന്നു.

മൾട്ടിമോഡൽ മോഡലുകളിലെ ഒരു ബ്ലൈൻഡ് സ്പോട്ടിലാണ് ഗവേഷണം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്: ഇമേജ് സ്കെയിലിംഗ് ഒരു ആക്രമണ വെക്റ്ററായി മാറാം. പരിശോധിക്കാതെ വിട്ടാൽ, ഇൻപുട്ട് എങ്ങനെയാണ് പ്രീപ്രോസസ് ചെയ്യുന്നതെന്ന് മനസ്സിലാക്കുക, അനുമതികൾ പരിമിതപ്പെടുത്തുക, നിർണായക പ്രവർത്തനങ്ങൾക്ക് മുമ്പ് സ്ഥിരീകരണങ്ങൾ ആവശ്യപ്പെടുക എന്നിവ ഒരു സ്നാപ്പ്ഷോട്ടും നിങ്ങളുടെ ഡാറ്റയിലേക്കുള്ള ഗേറ്റ്‌വേയും തമ്മിലുള്ള വ്യത്യാസം സൃഷ്ടിക്കും.

അനുബന്ധ ലേഖനം:

ഒരു ചിത്രം ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ഉപയോഗിച്ചാണോ സൃഷ്ടിച്ചതെന്ന് എങ്ങനെ കണ്ടെത്താം: കെണിയിൽ വീഴാതിരിക്കാനുള്ള ഉപകരണങ്ങൾ, വിപുലീകരണങ്ങൾ, തന്ത്രങ്ങൾ.

ആൽബർട്ടോ നവാരോ

അവൻ്റെ "ഗീക്ക്" താൽപ്പര്യങ്ങൾ ഒരു തൊഴിലാക്കി മാറ്റിയ ഒരു സാങ്കേതിക തത്പരനാണ് ഞാൻ. എൻ്റെ ജീവിതത്തിൻ്റെ 10 വർഷത്തിലേറെ ഞാൻ അത്യാധുനിക സാങ്കേതികവിദ്യ ഉപയോഗിച്ചും ശുദ്ധമായ ജിജ്ഞാസയിൽ നിന്ന് എല്ലാത്തരം പ്രോഗ്രാമുകളും ഉപയോഗിച്ച് ചെലവഴിച്ചു. ഇപ്പോൾ ഞാൻ കമ്പ്യൂട്ടർ സാങ്കേതികവിദ്യയിലും വീഡിയോ ഗെയിമുകളിലും സ്പെഷ്യലൈസ് ചെയ്തിട്ടുണ്ട്. കാരണം, 5 വർഷത്തിലേറെയായി ഞാൻ സാങ്കേതികവിദ്യയിലും വീഡിയോ ഗെയിമുകളിലും വിവിധ വെബ്‌സൈറ്റുകൾക്കായി എഴുതുന്നു, എല്ലാവർക്കും മനസ്സിലാകുന്ന ഭാഷയിൽ നിങ്ങൾക്കാവശ്യമായ വിവരങ്ങൾ നൽകാൻ ശ്രമിക്കുന്ന ലേഖനങ്ങൾ സൃഷ്ടിക്കുന്നു.

നിങ്ങൾക്ക് എന്തെങ്കിലും ചോദ്യങ്ങളുണ്ടെങ്കിൽ, എൻ്റെ അറിവ് വിൻഡോസ് ഓപ്പറേറ്റിംഗ് സിസ്റ്റവുമായി ബന്ധപ്പെട്ട എല്ലാത്തിലും മൊബൈൽ ഫോണുകൾക്കായുള്ള ആൻഡ്രോയിഡുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. എൻ്റെ പ്രതിബദ്ധത നിങ്ങളോടാണ്, ഈ ഇൻ്റർനെറ്റ് ലോകത്ത് നിങ്ങൾക്കുണ്ടായേക്കാവുന്ന ഏത് ചോദ്യങ്ങളും പരിഹരിക്കാൻ കുറച്ച് മിനിറ്റ് ചെലവഴിക്കാനും നിങ്ങളെ സഹായിക്കാനും ഞാൻ എപ്പോഴും തയ്യാറാണ്.