జెమినిలో ఫోటోలోకి ఆర్డర్‌లను చొప్పించడానికి వారు ఒక మార్గాన్ని కనుగొన్నారు: సాధారణ స్కేలింగ్ AI వాటిని అమలు చేస్తుంది.

పరిశోధకుల బృందం ఒక చొరబాటు పద్ధతిని నమోదు చేసింది, దీని సామర్థ్యం చిత్రాలలో దాచిన సూచనలను చొప్పించడం ద్వారా వ్యక్తిగత డేటాను దొంగిలించడంఆ ఫైల్‌లు జెమిని వంటి మల్టీమోడల్ సిస్టమ్‌లకు అప్‌లోడ్ చేయబడినప్పుడు, ఆటోమేటిక్ ప్రీప్రాసెసింగ్ ఆదేశాలను సక్రియం చేస్తుంది మరియు AI వాటిని చెల్లుబాటు అయ్యేలా అనుసరిస్తుంది.

ది ట్రైల్ ఆఫ్ బిట్స్ నివేదించిన ఈ ఆవిష్కరణ ఉత్పత్తి వాతావరణాలను ప్రభావితం చేస్తుంది. జెమిని CLI, వెర్టెక్స్ AI స్టూడియో, జెమిని API, గూగుల్ అసిస్టెంట్ లేదా జెన్‌స్పార్క్ వంటివివాస్తవ ప్రపంచ వాతావరణాలలో దోపిడీకి సంబంధించిన ఆధారాలు ఇప్పటివరకు లేకపోవడంతో, ఇది పరిశ్రమకు ఒక ముఖ్యమైన సవాలు అని గూగుల్ అంగీకరించింది. ఈ దుర్బలత్వాన్ని మొజిల్లా యొక్క 0Din ప్రోగ్రామ్ ద్వారా ప్రైవేట్‌గా నివేదించారు.

ఇమేజ్ స్కేలింగ్ దాడి ఎలా పనిచేస్తుంది

కీలకం విశ్లేషణకు ముందు దశలో ఉంది: అనేక AI పైప్‌లైన్‌లు చిత్రాలను ప్రామాణిక రిజల్యూషన్‌లకు స్వయంచాలకంగా పునఃపరిమాణం చేయండి (224×224 లేదా 512×512)ఆచరణలో, మోడల్ అసలు ఫైల్‌ను చూడదు, బదులుగా స్కేల్-డౌన్ వెర్షన్‌ను చూస్తుంది మరియు అక్కడే హానికరమైన కంటెంట్ బహిర్గతమవుతుంది.

దాడి చేసేవారు చొప్పించడం అదృశ్య వాటర్‌మార్క్‌ల ద్వారా మభ్యపెట్టబడిన మల్టీమోడల్ ప్రాంప్ట్‌లు, తరచుగా ఫోటోలోని చీకటి ప్రాంతాలలో. అప్‌స్కేలింగ్ అల్గోరిథంలు అమలు చేయబడినప్పుడు, ఈ నమూనాలు ఉద్భవిస్తాయి మరియు మోడల్ వాటిని చట్టబద్ధమైన సూచనలుగా అర్థం చేసుకుంటుంది, ఇది అవాంఛిత చర్యలకు దారితీస్తుంది.

నియంత్రిత పరీక్షలలో, పరిశోధకులు చేయగలిగారు Google క్యాలెండర్ నుండి డేటాను సంగ్రహించి, దానిని బాహ్య ఇమెయిల్‌కు పంపండి. వినియోగదారు నిర్ధారణ లేకుండా. అదనంగా, ఈ పద్ధతులు కుటుంబానికి లింక్ చేస్తాయి వేగవంతమైన ఇంజెక్షన్ దాడులు ఇప్పటికే ఏజెంట్ సాధనాల్లో (క్లాడ్ కోడ్ లేదా ఓపెన్ఏఐ కోడెక్స్ వంటివి) ప్రదర్శించబడ్డాయి, సామర్థ్యం కలిగి ఉంటాయి సమాచారాన్ని బయటకు పంపండి లేదా ఆటోమేషన్ చర్యలను ప్రారంభించండి అసురక్షిత ప్రవాహాలను ఉపయోగించడం.

పంపిణీ వెక్టర్ వెడల్పుగా ఉంటుంది: వెబ్‌సైట్‌లోని చిత్రం, వాట్సాప్‌లో షేర్ చేయబడిన మీమ్ లేదా ఫిషింగ్ ప్రచారం చేయగలిగి కంటెంట్‌ను ప్రాసెస్ చేయమని AIని అడుగుతున్నప్పుడు ప్రాంప్ట్‌ను యాక్టివేట్ చేయండివిశ్లేషణకు ముందు AI పైప్‌లైన్ స్కేలింగ్ చేసినప్పుడు దాడి కార్యరూపం దాల్చుతుందని నొక్కి చెప్పడం ముఖ్యం; ఆ దశను దాటకుండా చిత్రాన్ని చూడటం వలన అది ప్రేరేపించబడదు.

అందువల్ల, AI కనెక్ట్ చేయబడిన సాధనాలకు ప్రాప్యత కలిగి ఉన్న ప్రవాహాలలో ప్రమాదం కేంద్రీకృతమై ఉంటుంది (ఉదా., ఇమెయిల్‌లను పంపండి, క్యాలెండర్‌లను తనిఖీ చేయండి లేదా APIలను ఉపయోగించండి): భద్రతా చర్యలు లేకపోతే, అది వినియోగదారు జోక్యం లేకుండానే వాటిని అమలు చేస్తుంది.

హాని కలిగించే అల్గోరిథంలు మరియు సాధనాలు ఉన్నాయి

ఈ దాడి కొన్ని అల్గోరిథంలను ఎలా దోపిడీ చేస్తుంది అధిక రిజల్యూషన్ సమాచారాన్ని తక్కువ పిక్సెల్‌లుగా కుదించండి పరిమాణాన్ని తగ్గించేటప్పుడు: సమీప పొరుగు ఇంటర్‌పోలేషన్, బిలినియర్ ఇంటర్‌పోలేషన్ మరియు బిక్యూబిక్ ఇంటర్‌పోలేషన్. సందేశం పునఃపరిమాణం నుండి బయటపడటానికి ప్రతిదానికీ వేరే ఎంబెడ్డింగ్ టెక్నిక్ అవసరం.

ఈ సూచనలను పొందుపరచడానికి ఓపెన్ సోర్స్ సాధనం ఉపయోగించబడింది అనామోర్ఫర్, టార్గెట్ స్కేలింగ్ అల్గోరిథం ఆధారంగా చిత్రాలలోకి ప్రాంప్ట్‌లను ఇంజెక్ట్ చేయడానికి మరియు వాటిని సూక్ష్మ నమూనాలలో దాచడానికి రూపొందించబడింది. AI యొక్క ఇమేజ్ ప్రీప్రాసెసింగ్ చివరికి వాటిని వెల్లడిస్తుంది.

ప్రాంప్ట్ వెల్లడైన తర్వాత, మోడల్ చేయగలదు జాపియర్ వంటి ఇంటిగ్రేషన్‌లను యాక్టివేట్ చేయండి (లేదా IFTTT లాంటి సేవలు) మరియు గొలుసు చర్యలు: డేటా సేకరణ, మూడవ పక్ష సేవలకు ఇమెయిల్‌లు లేదా కనెక్షన్‌లను పంపడం, అన్నీ సాధారణ ప్రవాహంలో ఉన్నట్లుగా అనిపిస్తాయి.

సంక్షిప్తంగా, ఇది ఒక సరఫరాదారు యొక్క వివిక్త వైఫల్యం కాదు, బదులుగా స్కేల్డ్ చిత్రాలను నిర్వహించడంలో నిర్మాణాత్మక బలహీనత టెక్స్ట్, దృష్టి మరియు సాధనాలను కలిపే మల్టీమోడల్ పైప్‌లైన్‌లలో.

ఉపశమన చర్యలు మరియు మంచి పద్ధతులు

పరిశోధకులు సిఫార్సు చేస్తున్నారు సాధ్యమైనప్పుడల్లా డౌన్‌స్కేలింగ్‌ను నివారించండి. మరియు బదులుగా, పరిమితి లోడ్ కొలతలుస్కేలింగ్ అవసరమైనప్పుడు, దీనిని చేర్చడం మంచిది మోడల్ వాస్తవానికి ఏమి చూస్తుందో దాని ప్రివ్యూ, CLI సాధనాలలో మరియు API లో కూడా, మరియు వంటి గుర్తింపు సాధనాలను ఉపయోగించండి గూగుల్ సింథిడ్.

డిజైన్ స్థాయిలో, అత్యంత దృఢమైన రక్షణ అంటే భద్రతా నమూనాలు మరియు క్రమబద్ధమైన నియంత్రణలు సందేశ ఇంజెక్షన్‌కు వ్యతిరేకంగా: చిత్రంలో పొందుపరిచిన ఏ కంటెంట్‌ను ప్రారంభించలేరు స్పష్టమైన నిర్ధారణ లేకుండా సున్నితమైన సాధనాలకు కాల్‌లు వినియోగదారు యొక్క.

కార్యాచరణ స్థాయిలో, ఇది వివేకం తెలియని మూలం ఉన్న చిత్రాలను జెమినికి అప్‌లోడ్ చేయకుండా ఉండండి. మరియు అసిస్టెంట్ లేదా యాప్‌లకు మంజూరు చేయబడిన అనుమతులను జాగ్రత్తగా సమీక్షించండి (ఇమెయిల్, క్యాలెండర్, ఆటోమేషన్‌లు మొదలైన వాటికి యాక్సెస్). ఈ అడ్డంకులు సంభావ్య ప్రభావాన్ని గణనీయంగా తగ్గిస్తాయి.

సాంకేతిక బృందాల కోసం, మల్టీమోడల్ ప్రీప్రాసెసింగ్‌ను ఆడిట్ చేయడం, యాక్షన్ శాండ్‌బాక్స్‌ను గట్టిపరచడం మరియు అసాధారణ నమూనాలను రికార్డ్ చేయండి/హెచ్చరిక వేయండి చిత్రాలను విశ్లేషించిన తర్వాత సాధన క్రియాశీలత. ఇది ఉత్పత్తి-స్థాయి రక్షణను పూర్తి చేస్తుంది.

మనం ఎదుర్కొంటున్న వాస్తవాన్ని ప్రతిదీ సూచిస్తుంది వేగవంతమైన ఇంజెక్షన్ యొక్క మరొక వైవిధ్యం దృశ్య మార్గాలకు వర్తింపజేయబడింది. నివారణ చర్యలు, ఇన్‌పుట్ ధృవీకరణ మరియు తప్పనిసరి నిర్ధారణలతో, దోపిడీ యొక్క మార్జిన్ తగ్గించబడుతుంది మరియు వినియోగదారులు మరియు వ్యాపారాలకు ప్రమాదం పరిమితం చేయబడింది.

ఈ పరిశోధన మల్టీమోడల్ మోడళ్లలో ఒక బ్లైండ్ స్పాట్‌పై దృష్టి పెడుతుంది: ఇమేజ్ స్కేలింగ్ దాడి వెక్టర్‌గా మారవచ్చు తనిఖీ చేయకుండా వదిలేస్తే, ఇన్‌పుట్ ఎలా ముందస్తుగా ప్రాసెస్ చేయబడుతుందో అర్థం చేసుకోవడం, అనుమతులను పరిమితం చేయడం మరియు క్లిష్టమైన చర్యలకు ముందు నిర్ధారణలు అవసరం కావడం వల్ల కేవలం స్నాప్‌షాట్ మరియు మీ డేటాకు గేట్‌వే మధ్య తేడాను గుర్తించవచ్చు.

సంబంధిత వ్యాసం:

ఒక చిత్రం కృత్రిమ మేధస్సు ద్వారా సృష్టించబడిందో లేదో ఎలా గుర్తించాలి: సాధనాలు, పొడిగింపులు మరియు ఉచ్చులో పడకుండా ఉండటానికి ఉపాయాలు

అల్బెర్టో నవారో

నేను తన "గీక్" అభిరుచులను వృత్తిగా మార్చుకున్న సాంకేతికత ప్రియుడిని. నేను నా జీవితంలో 10 సంవత్సరాలకు పైగా అత్యాధునిక సాంకేతిక పరిజ్ఞానాన్ని ఉపయోగించి మరియు స్వచ్ఛమైన ఉత్సుకతతో అన్ని రకాల ప్రోగ్రామ్‌లతో గడిపాను. ఇప్పుడు నేను కంప్యూటర్ టెక్నాలజీ మరియు వీడియో గేమ్‌లలో నైపుణ్యం సాధించాను. ఎందుకంటే నేను 5 సంవత్సరాలకు పైగా సాంకేతికత మరియు వీడియో గేమ్‌లపై వివిధ వెబ్‌సైట్‌ల కోసం వ్రాస్తూ పని చేస్తున్నాను, అందరికీ అర్థమయ్యే భాషలో మీకు అవసరమైన సమాచారాన్ని అందించడానికి ప్రయత్నిస్తున్న కథనాలను రూపొందించాను.

మీకు ఏవైనా ప్రశ్నలు ఉంటే, నా పరిజ్ఞానం Windows ఆపరేటింగ్ సిస్టమ్‌తో పాటు మొబైల్ ఫోన్‌ల కోసం Androidకి సంబంధించిన ప్రతిదాని నుండి ఉంటుంది. మరియు నా నిబద్ధత మీకు, నేను ఎల్లప్పుడూ కొన్ని నిమిషాలు గడపడానికి సిద్ధంగా ఉన్నాను మరియు ఈ ఇంటర్నెట్ ప్రపంచంలో మీకు ఏవైనా సందేహాలు ఉంటే వాటిని పరిష్కరించడంలో మీకు సహాయపడతాను.