- Чабуул Geminiде масштабдалганда эч кандай эскертүүсүз аткарылуучу сүрөттөрдө көрүнбөгөн мультимодалдык чакырыктарды жашырат.
- Вектор сүрөттөрдү алдын ала иштетүүнү (224x224/512x512) колдонот жана маалыматтарды эксфильтрациялоо үчүн Zapier сыяктуу куралдарды иштетет.
- Жакынкы кошуна, билинардык жана бикубдук алгоритмдер аялуу болуп саналат; Anamorpher куралы аларды сайууга мүмкүндүк берет.
- Эксперттер масштабдуу аракеттерди жасоодон мурун кичирейтүүдөн, киргизүүнү алдын ала кароодон жана ырастоону талап кылуудан качууну кеңеш беришет.
изилдөөчүлөр тобу жөндөмдүү интрузиялык ыкмасын документтештирүү сүрөттөргө жашыруун көрсөтмөлөрдү киргизүү менен жеке маалыматтарды уурдооБул файлдар Gemini сыяктуу мультимодалдык системаларга жүктөлгөндө, автоматтык түрдө алдын ала иштетүү буйруктарды активдештирет жана AI аларды жарактуу болгондой аткарат.
The Trail of Bits жарыялаган ачылыш өндүрүш чөйрөсүнө таасирин тийгизет. мисалы, Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant же GensparkGoogle бул тармак үчүн олуттуу кыйынчылык экенин моюнга алды, азырынча реалдуу чөйрөдө эксплуатациялоонун эч кандай далили жок. Алсыздык Mozillaнын 0Din программасы аркылуу жекече билдирилген.
Сүрөттү масштабдоо чабуулу кантип иштейт
Негизгиси алдын ала талдоо кадамында: көптөгөн AI түтүктөрү Сүрөттөрдүн өлчөмүн автоматтык түрдө стандарттык резолюцияга өзгөртүү (224×224 же 512×512)Иш жүзүндө, модель баштапкы файлды эмес, тескерисинче, кичирейтилген версиясын көрөт жана ошол жерде зыяндуу мазмун ачылат.
Чабуулчулар киргизет Көзгө көрүнбөгөн суу белгилери менен камуфляждалган мультимодалдык чакырыктар, көбүнчө сүрөттүн караңгы жерлеринде. Көбөйтүү алгоритмдери иштетилгенде, бул схемалар пайда болот жана модель аларды мыйзамдуу көрсөтмөлөр катары чечмелеп, каалабаган аракеттерге алып келиши мүмкүн.
Башкарылган тесттерде изилдөөчүлөр жетишти Google Жылнаамадан дайындарды чыгарып, тышкы электрондук почтага жөнөтүңүз колдонуучунун ырастоосу жок. Мындан тышкары, бул ыкмалар үй-бүлө менен байланыштырат тез инъекция чабуулдары буга чейин агенттик куралдарда (мисалы, Клод кодекси же OpenAI Codex) көрсөтүлгөн маалыматты эксфильтрациялоо же автоматташтыруу аракеттерин баштоо кооптуу агымдарды пайдалануу.
Бөлүштүрүү вектору кеңири: веб-сайттагы сүрөт, WhatsAppта бөлүшүлгөн мем же а фишинг кампаниясы мүмкүн AIдан мазмунду иштеп чыгууну суранганда эскертүүнү иштетиңизКол салуу AI түтүгү талдоодон мурун масштабдоону аткарганда ишке ашарын баса белгилей кетүү маанилүү; бул кадамдан өтпөстөн сүрөттү көрүү аны козгобойт.
Демек, тобокелдик AI туташкан куралдарга жетүү мүмкүнчүлүгү бар агымдарда топтолгон (мисалы, электрондук каттарды жөнөтүү, календарды текшерүү же API'лерди колдонуу): Эгерде эч кандай коргоо чаралары жок болсо, ал аларды колдонуучунун кийлигишүүсүз аткарат.
Алсыз алгоритмдер жана куралдар тартылган
Кол салуу белгилүү бир алгоритмдерди кандайча колдонот жогорку чечилиштеги маалыматты азыраак пикселдерге кысуу кыскартууда: жакынкы кошуна интерполяциясы, билинардык интерполяция жана бикубдук интерполяция. Ар бири билдирүүнүн өлчөмүн өзгөртүүдөн сактануу үчүн ар кандай кыстаруу ыкмасын талап кылат.
Бул нускамаларды киргизүү үчүн ачык булак куралы колдонулган Anamorpher, максаттуу масштабдоо алгоритминин негизинде сүрөттөргө чакырыктарды киргизүү жана аларды кылдат калыптарга жашыруу үчүн иштелип чыккан. AIнын сүрөтүн алдын ала иштетүү акыры аларды ачып берет.
Ырас ачылгандан кийин, модель болот Zapier сыяктуу интеграцияларды активдештирүү (же IFTTTге окшош кызматтар) жана чынжырлуу аракеттер: маалыматтарды чогултуу, электрондук каттарды жөнөтүү же үчүнчү тараптын кызматтарына туташуу, баары кадимкидей көрүнгөн агымдын ичинде.
Кыскача айтканда, бул жеткирүүчүнүн өзүнчө катасы эмес, тескерисинче, а масштабдуу сүрөттөрдү иштетүүдө структуралык алсыздык текстти, көрүнүштү жана куралдарды айкалыштырган мультимодалдык трубалардын ичинде.
Жецилдетуу чаралары жана жакшы тажрыйбалар
Изилдөөчүлөр сунуштайт мүмкүн болушунча кичирейтүүдөн качыңыз жана анын ордуна, жүк өлчөмүн чектөө. Масштабдоо зарыл болгондо, а модель иш жүзүндө көрө турган алдын ала көрүү, ошондой эле CLI куралдарында жана APIде жана сыяктуу аныктоо куралдарын колдонуңуз Google SynthID.
Дизайн деңгээлинде эң катуу коргонуу аркылуу коопсуздук үлгүлөрү жана системалуу башкаруу билдирүү инъекциясына каршы: сүрөткө камтылган эч бир мазмун башталбашы керек Ачык ырастоосуз сезимтал куралдарга чалуулар колдонуучунун.
Операциялык деңгээлде бул акылдуу Геминиге белгисиз сүрөттөрдү жүктөөдөн алыс болуңуз жана жардамчыга же колдонмолорго берилген уруксаттарды кылдат карап чыгыңыз (электрондук почтага, календарга, автоматташтырууга, ж.б. кирүү). Бул тоскоолдуктар мүмкүн болуучу таасирди кыйла азайтат.
Техникалык топтор үчүн мультимодалдык алдын ала иштетүүнү текшерип, аракет кум чөйрөсүн катуулатып, жана аномалдуу үлгүлөр боюнча жазуу/эскертүү сүрөттөрдү талдоодон кийин куралды активдештирүү. Бул продукт деңгээлиндеги коргонууну толуктайт.
Баары биз туш болуп жатканыбызды көрсөтүп турат тез инъекциянын дагы бир варианты Визуалдык каналдарга колдонулат. Алдын алуу чаралары, киргизүүнү текшерүү жана милдеттүү ырастоолор менен эксплуатациянын чеги кыскарат жана колдонуучулар жана бизнес үчүн тобокелдик чектелет.
Изилдөө мультимодалдык моделдердеги сокур тактарга багытталган: Сүрөттү масштабдоо чабуулдун вектору болуп калышы мүмкүн Эгер белгиленбесе, киргизүү алдын ала иштетилгенин түшүнүү, уруксаттарды чектөө жана критикалык аракеттерден мурун ырастоолорду талап кылуу жөн гана сүрөт менен берилиштериңизге шлюздун ортосундагы айырманы түзө алат.
Мен өзүмдүн «геек» кызыкчылыктарын кесипке айландырган технология ышкыбозумун. Өмүрүмдүн 10 жылдан ашуунун эң алдыңкы технологияларды колдонууга жана ар кандай программалар менен иштөөгө жумшадым. Азыр мен компьютердик технологиялар жана видео оюндар боюнча адистешкен. Себеби, мен 5 жылдан ашык убакыттан бери технология жана видео оюндар боюнча ар кандай веб-сайттарга жазып, сизге керектүү маалыматты баарына түшүнүктүү тилде берүүгө умтулган макалаларды түзүп келем.
Эгерде сизде кандайдыр бир суроолор болсо, менин билимим Windows операциялык тутумуна, ошондой эле уюлдук телефондор үчүн Android менен байланыштуу. Жана менин милдеттенмем сизге, мен ар дайым бир нече мүнөт бөлүп, бул интернет дүйнөсүндө сизди кызыктырган бардык суроолорду чечүүгө жардам берүүгө даярмын.