لقد وجدوا طريقة لإدخال الأوامر إلى صورة في Gemini: التدرج البسيط يجعل الذكاء الاصطناعي ينفذها.

آخر تحديث: 03/09/2025
نبذة عن الكاتب: ألبرتو نافارو

  • يقوم الهجوم بإخفاء مطالبات متعددة الوسائط غير مرئية في الصور، وعندما يتم قياسها على Gemini، يتم تنفيذها دون سابق إنذار.
  • يستفيد المتجه من معالجة الصور مسبقًا (224x224/512x512) ويشغل أدوات مثل Zapier لاستخراج البيانات.
  • تعتبر خوارزميات الجار الأقرب والثنائي الخطي والثنائي التكعيبي عرضة للخطر؛ وتسمح أداة Anamorpher بحقنها.
  • ينصح الخبراء بتجنب تقليص الحجم، ومعاينة المدخلات، وطلب التأكيد قبل تنفيذ الإجراءات الحساسة.

هجمات الصور على أنظمة الذكاء الاصطناعي

وقد وثّقت مجموعة من الباحثين أسلوب اختراق قادر على سرقة البيانات الشخصية عن طريق حقن تعليمات مخفية في الصورعندما يتم تحميل هذه الملفات إلى أنظمة متعددة الوسائط مثل Gemini، تقوم المعالجة المسبقة التلقائية بتنشيط الأوامر، ويتبعها الذكاء الاصطناعي كما لو كانت صالحة.

يؤثر الاكتشاف، الذي أفاد به موقع The Trail of Bits، على بيئات الإنتاج. مثل Gemini CLI، أو Vertex AI Studio، أو Gemini API، أو Google Assistant، أو Gensparkأقرت جوجل بأن هذا يُمثل تحديًا كبيرًا للقطاع، ولم يُسجل أي استغلال فعلي حتى الآن. وقد أُبلغ عن هذه الثغرة بشكل خاص عبر برنامج 0Din التابع لشركة موزيلا.

كيف يعمل هجوم تغيير حجم الصورة

كيف يعمل هجوم تغيير حجم الصورة في برنامج Gemini

المفتاح يكمن في خطوة التحليل المسبق: العديد من خطوط أنابيب الذكاء الاصطناعي تغيير حجم الصور تلقائيًا إلى الدقة القياسية (224×224 أو 512×512)في الممارسة العملية، لا يرى النموذج الملف الأصلي، بل نسخة مصغرة منه، وهناك يتم الكشف عن المحتوى الضار.

محتوى حصري - اضغط هنا  أمن تكنولوجيا المعلومات

المهاجمون يدخلون مطالبات متعددة الوسائط مموهة بعلامات مائية غير مرئيةغالبًا في مناطق مظلمة من الصورة. عند تشغيل خوارزميات التحسين، تظهر هذه الأنماط، ويفسرها النموذج على أنها تعليمات صحيحة، مما قد يؤدي إلى إجراءات غير مرغوب فيها.

وفي الاختبارات التي يتم التحكم فيها، تمكن الباحثون من استخراج البيانات من تقويم Google وإرسالها إلى بريد إلكتروني خارجي بدون تأكيد المستخدم. بالإضافة إلى ذلك، ترتبط هذه التقنيات بعائلة هجمات الحقن السريع تم إثبات ذلك بالفعل في الأدوات الوكيلة (مثل Claude Code أو OpenAI Codex)، القادرة على استخراج المعلومات أو تشغيل إجراءات الأتمتة استغلال التدفقات غير الآمنة.

متجه التوزيع واسع: صورة على موقع ويب، أو ميم تمت مشاركته على WhatsApp أو حملة تصيد احتيالي يمكن قم بتفعيل المطالبة عند مطالبة الذكاء الاصطناعي بمعالجة المحتوىمن المهم التأكيد على أن الهجوم يحدث عندما يقوم خط أنابيب الذكاء الاصطناعي بإجراء عملية القياس قبل التحليل؛ إن عرض الصورة دون المرور بهذه الخطوة لا يؤدي إلى حدوثه.

لذلك، يتركز الخطر في التدفقات التي تتمتع فيها الذكاء الاصطناعي بالقدرة على الوصول إلى الأدوات المتصلة (على سبيل المثال، إرسال رسائل البريد الإلكتروني، أو التحقق من التقويمات أو استخدام واجهات برمجة التطبيقات): إذا لم تكن هناك أي ضمانات، فسيتم تنفيذها دون تدخل المستخدم.

الخوارزميات والأدوات المعرضة للخطر

ثغرة في تغيير حجم الصورة في الذكاء الاصطناعي

يستغل الهجوم كيفية عمل خوارزميات معينة ضغط المعلومات عالية الدقة إلى عدد أقل من وحدات البكسل عند تصغير الحجم: استيفاء أقرب جار، والاستيفاء ثنائي الخط، والاستيفاء ثنائي التكعيب. يتطلب كلٌّ منها تقنية تضمين مختلفة لضمان بقاء الرسالة بعد تغيير الحجم.

محتوى حصري - اضغط هنا  كيفية إلغاء حظر شخص ما من صور جوجل

لتضمين هذه التعليمات، تم استخدام أداة مفتوحة المصدر أنامورفرصُممت هذه التقنية لحقن إشارات في الصور بناءً على خوارزمية قياس الهدف، وإخفائها في أنماط دقيقة. ثم تكشفها معالجة الذكاء الاصطناعي المسبقة للصور في النهاية.

بمجرد الكشف عن المطالبة، يمكن للنموذج تفعيل التكاملات مثل Zapier (أو خدمات مشابهة لـ IFTTT) وسلسلة الإجراءات: جمع البيانات، وإرسال رسائل البريد الإلكتروني أو الاتصالات بخدمات الطرف الثالث، كل ذلك ضمن تدفق طبيعي على ما يبدو.

باختصار، هذا ليس فشلاً معزولاً للمورد، بل هو فشل ضعف هيكلي في التعامل مع الصور المصغرة ضمن خطوط الأنابيب متعددة الوسائط التي تجمع بين النص والرؤية والأدوات.

تدابير التخفيف والممارسات الجيدة

معرف المركب

يوصي الباحثون تجنب تقليص الحجم كلما أمكن ذلك وبدلا من ذلك، أبعاد الحمل الحديةعندما يكون التوسع ضروريًا، فمن المستحسن دمج معاينة لما سوف يراه النموذج فعليًا، أيضًا في أدوات CLI وفي واجهة برمجة التطبيقات، واستخدم أدوات الكشف مثل جوجل سينث آي دي.

على مستوى التصميم، يكون الدفاع الأكثر صلابة من خلال أنماط الأمن والضوابط المنهجية ضد حقن الرسائل: لا ينبغي لأي محتوى مضمن في صورة أن يكون قادرًا على البدء المكالمات إلى الأدوات الحساسة دون تأكيد صريح المستعمل.

محتوى حصري - اضغط هنا  إزالة Virus Cell Phone PC

على المستوى التشغيلي، من الحكمة تجنب تحميل الصور ذات المصدر غير المعروف إلى الجوزاء وراجع بعناية الأذونات الممنوحة للمساعد أو التطبيقات (الوصول إلى البريد الإلكتروني، والتقويم، والأتمتة، وما إلى ذلك). هذه العوائق تُقلل بشكل كبير من التأثير المحتمل.

بالنسبة للفرق الفنية، من المفيد تدقيق المعالجة المسبقة متعددة الوسائط، وتقوية صندوق الحماية الخاص بالإجراءات، تسجيل/تنبيه بشأن الأنماط الشاذة تفعيل الأداة بعد تحليل الصور. يُكمّل هذا إجراءات الحماية على مستوى المنتج.

كل شيء يشير إلى أننا نواجه نوع آخر من الحقن السريع يُطبَّق على القنوات المرئية. بفضل الإجراءات الوقائية، والتحقق من المدخلات، والتأكيدات الإلزامية، يُضيَّق هامش الاستغلال ويُحدُّ الخطر على المستخدمين والشركات.

يركز البحث على نقطة عمياء في النماذج المتعددة الوسائط: يمكن أن يصبح تغيير حجم الصورة ناقلاً للهجوم إذا تركت دون تحديد، فإن فهم كيفية معالجة المدخلات مسبقًا، وتقييد الأذونات، وطلب التأكيدات قبل اتخاذ الإجراءات الحرجة يمكن أن يحدث فرقًا بين مجرد لقطة وبوابة لبياناتك.

تكتشف الامتدادات الصور التي تم إنشاؤها بواسطة AI-0
المادة ذات الصلة:
كيفية اكتشاف ما إذا كانت الصورة قد تم إنشاؤها بواسطة الذكاء الاصطناعي: الأدوات والإضافات والحيل لتجنب الوقوع في الفخ