تحويل الأشخاص والأشياء إلى صور ثلاثية الأبعاد باستخدام SAM 3 وSAM 3D من Meta

¿كيفية تحويل الأشخاص والأشياء إلى نماذج ثلاثية الأبعاد باستخدام SAM 3D؟ يُحدث تطبيق الذكاء الاصطناعي على المرئيات تأثيرًا كبيرًا، والآن، بالإضافة إلى قطع الكائنات بدقة، أصبح من الممكن تحويل صورة واحدة إلى نموذج ثلاثي الأبعاد جاهز للاستكشاف من زوايا متعددة. قدّمت ميتا جيلًا جديدًا من الأدوات التي تجمع بين التحرير وفهم العالم المرئي وإعادة البناء ثلاثي الأبعاد دون الحاجة إلى معدات أو معرفة متقدمة.

نحن نتحدث عن SAM 3 وSAM 3D، وهما نموذجان تم تطويرهما لتحسين الكشف والتتبع والتجزئة، ولإحضار إعادة بناء ثلاثية الأبعاد للأشياء والأشخاص لجمهور واسع. يتضمن اقتراحهم فهم تعليمات النص والإشارات البصرية في آنٍ واحد، بحيث يصبح قص العناصر وتحويلها وإعادة بنائها سهلاً، ككتابة ما نريد أو النقر بضع نقرات.

ما هما SAM 3 وSAM 3D وما الفرق بينهما؟

توسّعت عائلة Meta's Segment Anything بإضافة إضافتين جديدتين: SAM 3 وSAM 3D. يُركّز الأول على تحديد الكائنات وتتبعها وتقسيمها في الصور والفيديوهات بدقة فائقة، بينما يُركّز الثاني على... يعيد بناء الهندسة والمظهر ثلاثي الأبعاد من صورة واحدةبما في ذلك الأشخاص والحيوانات أو المنتجات اليومية.

الفرق الوظيفي واضح: يتولى SAM 3 فهم المحتوى المرئي وفصله، بينما يستخدم SAM 3D هذا الفهم لإنشاء حجم ثلاثي الأبعاد. بفضل هذا الاقتران، يصبح سير العمل الذي كان يتطلب سابقًا برامج معقدة أو ماسحات ضوئية متخصصة أكثر سهولة في الوصول وأسرع بكثير.

علاوة على ذلك، لا يقتصر SAM 3 على الإشارات البصرية الأساسية، بل يوفر تجزئة موجهة باللغة الطبيعية قادرة على تفسير أوصاف دقيقة للغايةلم نعد نتحدث فقط عن "سيارة" أو "كرة"، بل عن عبارات مثل "قبعة بيسبول حمراء" لتحديد تلك العناصر بدقة في مشهد ما، حتى في مقطع فيديو بأكمله.

وفي الوقت نفسه، يأتي SAM 3D بنكهتين متكاملتين: SAM 3D Objects، التي تركز على الأشياء والمشاهدوسام ثلاثي الأبعاد للجسم، المُدرَّب على تقدير شكل الجسم البشري. يتيح هذا التخصص تغطية كل شيء، من السلع الاستهلاكية إلى الصور الشخصية والوضعيات، مما يفتح الباب أمام تطبيقات إبداعية وتجارية وعلمية.

كيف يتمكنون من تقسيم وإعادة بناء صورة واحدة؟

يكمن السر في بنية مُدرَّبة على كميات هائلة من البيانات لإنشاء روابط مباشرة بين الكلمات والبكسلات. يفهم النموذج التعليمات المكتوبة والإشارات المرئية (النقرات أو النقاط أو المربعات) في آنٍ واحد، بحيث ترجمة الطلب إلى مجالات محددة إطار صورة أو فيديو.

يتجاوز هذا الفهم للغة أسماء الفئات التقليدية. يستطيع SAM 3 التعامل مع التعليمات المعقدة والاستثناءات والفروق الدقيقة، مما يُمكّن من إجراء استعلامات مثل "أشخاص يجلسون ولا يرتدون قبعة حمراء". هذا التوافق مع مطالبات نصية مفصلة وهو يحل أحد القيود التاريخية للنماذج السابقة، التي كانت تميل إلى خلط المفاهيم الدقيقة.

ثم يأتي دور SAM 3D: بدءًا من الصورة، يُنشئ نموذجًا ثلاثي الأبعاد يسمح لك برؤية الكائن من زوايا مختلفة، وإعادة تنظيم المشهد، أو تطبيق تأثيرات ثلاثية الأبعاد. عمليًا، يتكامل مع عملية التجزئة السابقة لعزل ما يهمنا، وبالتالي، إعادة البناء بتقنية ثلاثية الأبعاد دون خطوات وسيطة معقدة.

الميزات الجديدة مقارنة بالأجيال السابقة

أحدثت SAM 1 وSAM 2 ثورةً في التجزئة بالاعتماد بشكل كبير على الإشارات البصرية. ومع ذلك، واجهتا صعوبةً عند طلب تفسيرات مطولة أو تعليمات دقيقة باللغة الطبيعية. يتخطى SAM 3 هذا الحاجز بدمج فهم متعدد الوسائط الذي يربط النص والرؤية بشكل أكثر مباشرة.

ترافق ميتا التقدم بمعيار جديد تقسيم المفردات المفتوحةصُمم هذا النموذج لتقييم التجزئة الموجهة بالنص في سيناريوهات واقعية، وذلك مع نشر أوزان SAM 3. بهذه الطريقة، يُمكن للباحثين والمطورين قياس النتائج ومقارنتها بدقة بين الطرق المختلفة.

في إعادة تصميمه، يُحسّن SAM 3D Objects بشكل ملحوظ من الأساليب السابقة، وفقًا للبيانات التي نشرتها Meta، والتي تُصدر أيضًا نقاط تفتيش، وشيفرة استدلال، ومجموعة تقييم. إلى جانب SAM 3D Body، تُصدر الشركة أشياء فنية ثلاثية الأبعاد من SAM، مجموعة بيانات جديدة تم إنشاؤها بالتعاون مع فنانين لتقييم جودة الصور ثلاثية الأبعاد في مجموعة واسعة من الصور.

التطبيقات الواقعية وحالات الاستخدام الفورية

تُدمج ميتا هذه الإمكانيات في منتجاتها. ففي أداة "التعديلات"، وهي أداة الفيديو الخاصة بها على إنستغرام وفيسبوك، تُستخدم بالفعل التجزئة المتقدمة لتطبيق التأثيرات على مقاطع الفيديو. أشخاص أو أشياء محددة دون التأثير على باقي الصورة. يُسهّل هذا تغيير الخلفية، واستخدام الفلاتر الانتقائية، أو التحويلات المُستهدفة دون المساس بالجودة.

سنرى هذه الميزات أيضًا في Vibes، ضمن تطبيق Meta AI، وعلى منصة meta.ai، مع تجارب تحرير وإبداع جديدة. من خلال إتاحة تعليمات معقدة، يمكن للمستخدم وصف ما يريد تعديله، وسيستجيب النظام وفقًا لذلك. أتمتة مهام ما بعد الإنتاج كان ذلك شاقًا.

في مجال التجارة، تبرز ميزة "عرض الغرفة" في سوق فيسبوك، حيث تساعد المستخدمين على تصوّر شكل الأثاث أو المصابيح في منازلهم بفضل نماذج ثلاثية الأبعاد مُولّدة تلقائيًا. تُقلّل هذه الميزة من عدم اليقين. يحسن قرار الشراء، وهي نقطة رئيسية عندما لا نتمكن من رؤية المنتج فعليًا.

يمتد التأثير ليشمل الروبوتات والعلوم والتعليم والطب الرياضي. يمكن لإعادة البناء ثلاثية الأبعاد من صور بسيطة أن تُغذي أجهزة المحاكاة، وتُنشئ نماذج مرجعية تشريحية، وتُدعم أدوات التحليل التي كانت تتطلب سابقًا معدات متخصصة. كل هذا يُعزز سير عمل جديدة في البحث والتدريب.

ساحة لعب Segment Anything: الاختبار والإبداع دون احتكاك

من أجل إضفاء الطابع الديمقراطي على الوصول، أطلقت شركة ميتا ساحة لعب Segment Anythingموقع إلكتروني يُتيح لأي شخص تحميل الصور أو مقاطع الفيديو وتجربة SAM 3 وSAM 3D. واجهته تُذكرنا بـ"العصا السحرية" للمحررات الكلاسيكية، مع ميزة أنه يُمكننا اكتب ما نريد تحديده أو قم بتحسينها ببضع نقرات.

بالإضافة إلى ذلك، يوفر الملعب قوالب جاهزة للاستخدام. تتضمن هذه القوالب خيارات عملية مثل وجوه أو لوحات ترخيص مشوهةوتأثيرات إبداعية أكثر، مثل مسارات الحركة أو الأضواء الكاشفة. هذا يُمكّن من إنجاز مهام حماية الهوية أو تأثيرات لافتة للنظر في ثوانٍ.

بالإضافة إلى التجزئة، يُمكن للمستخدمين استكشاف المشاهد من وجهات نظر جديدة، وإعادة ترتيبها، أو تطبيق تأثيرات ثلاثية الأبعاد باستخدام SAM 3D. الهدف هو أن يتمكن أي شخص، حتى لو لم يكن لديه معرفة مسبقة بالرسومات ثلاثية الأبعاد أو الرؤية الحاسوبية، من القيام بذلك. تحقيق نتائج مقبولة في دقائق وبدون تثبيت أي شيء.

النماذج والموارد المفتوحة والتقييم

أصدرت ميتا موارد لمساعدة المجتمع على تطوير أحدث التقنيات. بالنسبة لـ SAM 3، تتوفر الموارد التالية: أوزان النماذج بالإضافة إلى معيار مفردات مفتوح وورقة فنية تشرح البنية والتدريب. هذا يُسهّل إمكانية إعادة الإنتاج والمقارنات العادلة.

على صعيد التصميم ثلاثي الأبعاد، أصدرت الشركة نقاط تحكم، وشيفرة استدلال، ومجموعة تقييم من الجيل التالي. تتيح ثنائية SAM 3D Objects وSAM 3D Body تغطية شاملة. الأشياء العامة وجسم الإنسان مع مقاييس تتكيف مع كل حالة، وهو أمر ضروري لتقييم الدقة الهندسية والبصرية.

التعاون مع الفنانين لإنشاء كائنات فنية ثلاثية الأبعاد من SAM يُدخل معايير جمالية وتنوعية في التقييم، وليس فقط المعايير التقنية. وهذا أساسي لجعل إعادة البناء ثلاثية الأبعاد مفيدة في البيئات الإبداعية والتجاريةحيث الجودة التي يدركها الناس هي التي تصنع الفارق.

تقسيم النص: الأمثلة والمزايا

مع SAM 3، يمكنك كتابة "قبعة بيسبول حمراء" وسيحدد النظام جميع التطابقات في صورة أو مقطع فيديو. هذه الدقة تفتح الباب أمام عمليات تحرير سير العمل حيث يكفي مجرد كتابة "قبعة بيسبول حمراء". جمل قصيرة وواضحة لفصل العناصر وتطبيق التأثيرات أو التحويلات عليها.

يتيح التوافق مع نماذج اللغات متعددة الوسائط تعليمات أكثر ثراءً، بما في ذلك الاستثناءات أو الشروط ("الأشخاص الجالسون الذين لا يرتدون قبعة حمراء"). تُقلل هذه المرونة ساعات العمل اليدوي وتُقلل أخطاء الاختيار والتي تم تصحيحها مسبقًا يدويًا.

بالنسبة للفرق التي تُنشئ محتوىً واسع النطاق، يُسرّع التجزئة النصية من عملية التسويق ويُسهّل توحيد النتائج. في مجال التسويق، على سبيل المثال، يُمكن الحفاظ على الاتساق من خلال تطبيق عوامل تصفية على مجموعة منتجات، وهو أمرٌ... يحسن الوقت والتكاليف من المنتج.

تحرير وسائل التواصل الاجتماعي والإبداع الرقمي

يُتيح التكامل في Edits ميزات متقدمة لمرحلة ما بعد الإنتاج لمنشئي المحتوى على Instagram وFacebook. يُمكن الآن تطبيق مرشح كان يتطلب أقنعة معقدة سابقًا بأمر نصي وبضع نقرات، مع الحفاظ على... الحواف والتفاصيل الدقيقة إطار مستقر تلو الآخر.

بالنسبة للمقاطع القصيرة، حيث يكون جدول النشر مهمًا، تُعدّ هذه الأتمتة مثالية. لم يعد تغيير خلفية المقطع، أو إبراز شخص واحد فقط، أو تحويل عنصر محدد، يتطلب سير عمل يدوي، وهذا إضفاء الطابع الديمقراطي على التأثيرات التي كانت في السابق حكراً على المحترفين.

في الوقت نفسه، تعمل Vibes وmeta.ai على توسيع نطاق تجارب التحرير والإبداع القائمة على اللغة. فبقدرتنا على وصف ما نريده بالتفصيل، تُختصر المسافة من الفكرة إلى النتيجة، مما يُترجم إلى... المزيد من التكرارات الإبداعية في وقت أقل.

التجارة والعلم والرياضة: ما وراء الترفيه

يُجسّد عرض "عرض داخل الغرفة" على فيسبوك ماركت بليس القيمة العملية: فرؤية مصباح أو قطعة أثاث في غرفة معيشتك قبل الشراء تُقلل من العوائد وتبني الثقة. وخلفه قناة اتصال، تبدأ بالصور، تُولّد نموذج ثلاثي الأبعاد للتصور سياقية.

في مجال العلوم والتعليم، يُقلل إعادة البناء من الصور البسيطة من تكلفة إنشاء المواد التعليمية وأجهزة المحاكاة الواقعية. ويمكن استخدام النموذج التشريحي المُولّد بالذكاء الاصطناعي كأداة دعم في الفصول الدراسية أو... التحليل الميكانيكي الحيويتسريع إعداد المحتوى.

في الطب الرياضي، يُتيح الجمع بين تحليل تكوين الجسم وإعادة بناء الشكل أدواتٍ لدراسة الوضعيات والحركات دون الحاجة إلى معدات باهظة الثمن. وهذا يفتح آفاقًا جديدة. تقييمات أكثر تواترا والمراقبة عن بعد.

الخصوصية والأخلاق والممارسات الجيدة

قوة هذه الأدوات تتطلب مسؤولية. التلاعب بصور الأشخاص دون موافقتهم قد يؤدي إلى مشاكل قانونية وأخلاقية. يُنصح بتجنب إعادة تركيب الصور. وجوه غير مألوفةلا تشارك النماذج دون إذن ولا تقم بتغيير المشاهد الحساسة التي قد تسبب ارتباكًا أو ضررًا.

تعلن ميتا عن ضوابط للحد من سوء الاستخدام، لكن المسؤولية النهائية تقع على عاتق مستخدم التقنية. يُنصح بالتحقق من مصدر الصور، وحماية البيانات الشخصية، و تقييم السياق قبل نشر النماذج ثلاثية الأبعاد التي قد تكشف عن معلومات خاصة.

في البيئات المهنية، يُسهم وضع سياسات المراجعة والموافقة، وتصنيف المحتوى المُولّد بواسطة الذكاء الاصطناعي بوضوح، في الاستخدام المسؤول. يُساعد تدريب الفريق على هذه المواضيع على: منع الممارسات السيئة الاستجابة بسرعة للحوادث.

كيفية تحويل الأشخاص والأشياء إلى نماذج ثلاثية الأبعاد باستخدام SAM 3D: كيفية البدء

إذا كنت ترغب في التجربة مباشرةً، فإن قسم "ملعب أي شيء" هو المدخل. هناك يمكنك تحميل صورة أو فيديو، وكتابة ما تريد تحديده، وتجربة خيارات إعادة البناء ثلاثية الأبعاد من خلال واجهة بسيطة. للاطلاع على الملفات الفنية، [تتوفر خيارات أخرى]. الأوزان ونقاط التفتيش والرموز التي تسهل إجراء الاختبارات المخصصة.

لدى الباحثين والمطورين والفنانين منظومة متكاملة تتضمن معايير ومجموعات بيانات تقييم وتوثيق. الهدف هو إرساء أرضية مشتركة لقياس التقدم وتسريع عملية التبني في قطاعات مختلفةمن الإبداع الرقمي إلى الروبوتات.

الأمر الأكثر إثارة للاهتمام هو أن هذه القفزة ليست حكرًا على المتخصصين: فمنحنى التعلم يتقلص، والميزات تصل إلى التطبيقات اليومية. كل شيء يشير إلى أن التحرير والتصميم ثلاثي الأبعاد سيستمران في التكامل مع سير العمل حيث... اللغة الطبيعية هي الواجهة.

مع SAM 3 وSAM 3D، تُقدّم Meta إمكانية تقسيم النصوص وإعادة بناء الصور الفردية للمبدعين والفرق من جميع الأحجام. بفضل Playground، والتكامل مع Edits، والموارد المفتوحة، والتطبيقات في مجالات التجارة والتعليم والرياضة، يتم بناء أساس متين. طريقة جديدة للعمل مع الصور والحجم الذي يجمع بين الدقة وإمكانية الوصول والمسؤولية.