Meta SAM 3 va SAM 3D yordamida odamlar va ob'ektlarni 3D ga aylantiring

¿SAM 3D yordamida odamlar va ob'ektlarni 3D modellarga qanday aylantirish mumkin? Vizual tasvirlarga qo'llaniladigan sun'iy intellekt katta ta'sir ko'rsatmoqda va endi ob'ektlarni aniq kesishdan tashqari, bu mumkin. bitta tasvirni 3D modelga aylantirish Ko'p jihatdan kashf qilishga tayyor. Meta ilg'or uskunalar yoki bilimlarni talab qilmasdan tahrirlash, vizual dunyoni tushunish va uch o'lchovli rekonstruksiyani birlashtiradigan yangi avlod vositalarini taqdim etdi.

Biz SAM 3 va SAM 3D haqida gapirayapmiz, ular aniqlash, kuzatish va segmentatsiyani yaxshilash uchun keladi. Ob'ektlar va odamlarni 3D rekonstruksiya qilish keng auditoriyaga. Ularning taklifi matnli ko'rsatmalar va vizual signallarni bir vaqtning o'zida tushunishni o'z ichiga oladi, shuning uchun elementlarni kesish, o'zgartirish va qayta qurish biz xohlagan narsani yozish yoki bir necha marta bosish kabi osondir.

SAM 3 va SAM 3D nima va ular qanday farq qiladi?

Meta segmenti Anything oilasi ikkita yangi qo'shimcha bilan kengayadi: SAM 3 va SAM 3D. Birinchisi fotosuratlar va videolardagi ob'ektlarni keyingi avlod aniqligi bilan aniqlash, kuzatish va segmentlarga ajratishga qaratilgan. Bitta tasvirdan 3D geometriya va ko‘rinishni qayta tiklaydiodamlar, hayvonlar yoki kundalik mahsulotlar, shu jumladan.

Funktsional farq aniq: SAM 3 vizual kontentni "tushunish va ajratish" bilan shug'ullanadi va SAM 3D bu tushunchadan uch o'lchovli hajmni "yaratish" uchun foydalanadi. Ushbu juftlik bilan oldindan murakkab dasturiy ta'minot yoki maxsus skanerlar talab qilinadigan ish jarayoniga aylanadi ancha qulayroq va tezroq.

Bundan tashqari, SAM 3 asosiy vizual takliflar bilan cheklanmaydi. U tarjima qilishga qodir bo'lgan tabiiy tilga asoslangan segmentatsiyani ta'minlaydi juda aniq tavsiflarBiz endi faqat "mashina" yoki "to'p" haqida emas, balki "qizil beysbol qalpoqchasi" kabi iboralar haqida, hatto video davomida ham sahnadagi o'sha elementlarni aniq aniqlash uchun gapiramiz.

Shu bilan birga, SAM 3D ikkita qo'shimcha ta'mga ega: SAM 3D ob'ektlari, diqqat markazida ob'ektlar va sahnalarva SAM 3D Body, inson shakli va tanasini baholashga o'rgatilgan. Ushbu ixtisoslashuv unga iste'mol tovarlaridan tortib, portret va pozalargacha bo'lgan hamma narsani qamrab olishga imkon beradi, ijodiy, tijorat va ilmiy ilovalar uchun eshiklarni ochadi.

Qanday qilib ular bitta tasvirdan segmentlarga va rekonstruksiya qilishga muvaffaq bo'lishadi?

Kalit so'zlar va piksellar o'rtasida to'g'ridan-to'g'ri aloqalarni o'rnatish uchun katta hajmdagi ma'lumotlarga o'rgatilgan arxitekturada yotadi. Model bir vaqtning o'zida yozma ko'rsatmalar va vizual signallarni (chertishlar, nuqtalar yoki qutilar) tushunadi, shuning uchun so'rovni muayyan sohalarga tarjima qilish fotosurat yoki video ramka.

Tilning bunday tushunchasi an'anaviy sinf nomlaridan tashqariga chiqadi. SAM 3 murakkab ko'rsatmalar, istisnolar va nuanslarni boshqarishi mumkin, bu "qizil shlyapa kiymagan odamlar o'tirgan" kabi so'rovlarni amalga oshirishga imkon beradi. Bu bilan moslik batafsil matnli takliflar Bu granüler tushunchalarni chalkashtirib yuborishga moyil bo'lgan oldingi modellarning tarixiy cheklanishini hal qiladi.

Keyin SAM 3D ishga tushadi: tasvirdan boshlab, ob'ektni boshqa nuqtai nazardan ko'rish, sahnani qayta tashkil qilish yoki 3D effektlarni qo'llash imkonini beruvchi uch o'lchovli modelni yaratadi. Amalda, u bizni qiziqtirgan narsalarni ajratish uchun oldingi segmentatsiya bilan birlashadi va shuning uchun Murakkab oraliq qadamlarsiz 3D formatida qayta tiklang.

Oldingi avlodlarga nisbatan yangi xususiyatlar

SAM 1 va SAM 2 ko'proq vizual belgilarga tayanib, segmentatsiyani inqilob qildi. Biroq, ular uzoq talqinlar yoki nozik tabiiy til ko'rsatmalarini berishni so'rashganda, ular kurash olib borishdi. SAM 3 qo'shilish orqali ushbu to'siqdan o'tadi multimodal tushuncha bu matn va ko'rishni to'g'ridan-to'g'ri bog'laydi.

Meta taraqqiyotga yangi benchmark bilan birga keladi ochiq lug'at segmentatsiyasiHaqiqiy stsenariylarda matnga asoslangan segmentatsiyani baholash uchun mo'ljallangan va SAM 3 vaznini nashr qilish bilan. Shu tarzda, tadqiqotchilar va ishlab chiquvchilar natijalarni usullar o'rtasida qat'iy o'lchashlari va taqqoslashlari mumkin.

Meta tomonidan baham ko'rilgan ma'lumotlarga ko'ra, o'zining qayta dizaynida SAM 3D Objects oldingi yondashuvlarni sezilarli darajada yaxshilaydi, bu esa nazorat nuqtalari, xulosalar kodi va baholash to'plamini ham chiqaradi. SAM 3D Body bilan bir qatorda kompaniya chiqarmoqda SAM 3D rassom ob'ektlari, turli xil tasvirlarda 3D sifatini baholash uchun rassomlar bilan yaratilgan yangi ma'lumotlar to'plami.

Haqiqiy dunyo ilovalari va darhol foydalanish holatlari

Meta ushbu imkoniyatlarni o'z mahsulotlariga integratsiya qilmoqda. Instagram va Facebook uchun video vositasi "Tahrirlar" da videolarga effektlarni qo'llash uchun ilg'or segmentatsiya allaqachon qo'llanilmoqda. aniq odamlar yoki ob'ektlar tasvirning qolgan qismiga ta'sir qilmasdan. Bu sifatni yo'qotmasdan fon o'zgarishlarini, tanlangan filtrlarni yoki maqsadli o'zgarishlarni osonlashtiradi.

Shuningdek, biz ushbu xususiyatlarni Vibes’da, Meta AI ilovasida va meta.ai platformasida yangi tahrirlash va ijodiy tajribalar bilan ko‘ramiz. Murakkab ko'rsatmalarga ruxsat berish orqali foydalanuvchi o'zgartirmoqchi bo'lgan narsani tasvirlashi mumkin va tizim shunga mos ravishda javob beradi. ishlab chiqarishdan keyingi vazifalarni avtomatlashtiradi bu ilgari mehnatkash edi.

Tijorat sohasida Facebook Marketplace-ning "Xonada ko'rish" xususiyati ajralib turadi, bu foydalanuvchilarga avtomatik tarzda yaratilgan 3D modellar tufayli mebel yoki lampalarning uylarida qanday ko'rinishini tasavvur qilishda yordam beradi. Bu funksionallik noaniqlikni kamaytiradi va sotib olish qarorini yaxshilaydi, mahsulotni jismonan ko'ra olmaydigan asosiy nuqta.

Ta'sir robototexnika, fan, ta'lim va sport tibbiyotiga taalluqlidir. Oddiy fotosuratlardan 3D rekonstruksiya qilish simulyatorlarni oziqlantirishi, anatomik mos yozuvlar modellarini yaratishi va ilgari maxsus jihozlarni talab qiladigan tahlil vositalarini qo'llab-quvvatlashi mumkin. Bularning barchasi targ'ib qiladi yangi ish oqimlari tadqiqot va treningda.

Har qanday o'yin maydonchasi segmenti: ishqalanishsiz sinab ko'ring va yarating

Kirishni demokratlashtirish uchun Meta ishga tushirildi Har qanday o'yin maydonchasini segmentlarga bo'lingHar kim rasm yoki video yuklashi hamda SAM 3 va SAM 3D bilan tajriba oʻtkazishi mumkin boʻlgan veb-sayt. Uning interfeysi klassik muharrirlarning “sehrli tayoqchasini” eslatadi, buning afzalligi biz biz tanlamoqchi bo'lgan narsani yozing yoki bir necha marta bosish bilan aniqlang.

Bundan tashqari, Playground foydalanishga tayyor shablonlarni taklif etadi. Bu kabi amaliy variantlarni o'z ichiga oladi pikselli yuzlar yoki avtomobil raqamlariva harakat izlari yoki yorug'lik chiroqlari kabi ko'proq ijodiy effektlar. Bu bir necha soniya ichida identifikatorni himoya qilish vazifalariga yoki diqqatni tortadigan effektlarga erishishga imkon beradi.

Segmentatsiyadan tashqari, foydalanuvchilar SAM 3D yordamida sahnalarni yangi nuqtai nazardan o'rganishlari, ularni qayta tartibga solishlari yoki uch o'lchovli effektlarni qo'llashlari mumkin. Maqsad, 3D yoki kompyuter ko'rish haqida oldindan ma'lumotga ega bo'lmagan har bir kishi buni amalga oshirishi mumkin. maqbul natijalarga erishish daqiqalarda va hech narsa o'rnatmasdan.

Modellar, ochiq manbalar va baholash

Meta hamjamiyatga san'at darajasini oshirishga yordam berish uchun resurslarni chiqardi. SAM 3 uchun quyidagilar mavjud: model og'irliklari ochiq lug'at mezonlari va arxitektura va treningni batafsil tavsiflovchi texnik hujjat bilan birga. Bu takrorlanuvchanlikni va adolatli taqqoslashni osonlashtiradi.

3D jabhasida kompaniya nazorat nuqtalari, xulosalar kodi va keyingi avlod baholash to'plamini chiqardi. SAM 3D Objects va SAM 3D Body ikki tomonlamaligi har tomonlama qamrab olish imkonini beradi. umumiy ob'ektlar va inson tanasi har bir holatga moslashtirilgan ko'rsatkichlar bilan, geometrik va vizual aniqlikni baholash uchun muhim narsa.

SAM 3D Artist Objects yaratish uchun rassomlar bilan hamkorlik qilish baholashga nafaqat texnik mezonlarni, balki estetik va xilma-xillik mezonlarini ham kiritadi. Bu 3D rekonstruksiyani foydali qilish uchun kalit ijodiy va tijorat muhitibu erda odamlar tomonidan qabul qilinadigan sifat farq qiladi.

Matn segmentatsiyasi: misollar va afzalliklar

SAM 3 yordamida siz “qizil beysbol qalpoqchasi”ni yozishingiz mumkin va tizim rasmdagi yoki videodagi barcha mosliklarni aniqlaydi. Bu aniqlik ish jarayonlarini tahrirlash uchun eshikni ochadi, bunda oddiygina “qizil beysbol qalpoqchasi”ni kiritish kifoya. qisqa va aniq jumlalar elementlarni ajratish va ularga effektlar yoki transformatsiyalarni qo'llash.

Multimodal til modellari bilan moslik yanada boyroq ko'rsatmalarga, jumladan istisnolar yoki shartlarga imkon beradi ("qizil qalpoq taqmagan odamlar"). Bu moslashuvchanlik qo'lda ish vaqtini qisqartiradi va kamayadi tanlov xatolari ilgari qo'lda tuzatilgan.

Masshtabda tarkib yaratadigan jamoalar uchun matnga asoslangan segmentatsiya quvurlarni tezlashtiradi va natijalarni standartlashtirishni osonlashtiradi. Marketingda, masalan, mahsulot oilasiga filtrlarni qo'llash orqali barqarorlikni saqlash mumkin vaqt va xarajatlarni yaxshilaydi ishlab chiqarish.

Ijtimoiy tarmoqlarni tahrirlash va raqamli ijodkorlik

Tahrirlashdagi integratsiya Instagram va Facebook ijodkorlariga post-ishlab chiqarishning ilg'or xususiyatlarini olib keladi. Ilgari murakkab niqoblarni talab qiladigan filtr endi matn buyrug'i va bir necha marta bosish bilan qo'llanilishi mumkin qirralar va nozik tafsilotlar barqaror ramka kvadrat.

Nashr jadvali muhim bo'lgan qisqa qismlar uchun bu avtomatlashtirish oltin hisoblanadi. Klip fonini o'zgartirish, faqat bitta odamni ajratib ko'rsatish yoki muayyan ob'ektni o'zgartirish endi qo'lda ish jarayonlarini talab qilmaydi va bu ta'sirlarni demokratlashtiradi ilgari faqat professionallar uchun bo'lgan.

Shu bilan birga, Vibes va meta.ai tilga asoslangan tahrirlash va ijodkorlik tajribasini kengaytirmoqda. Biz nimani xohlayotganimizni batafsil tasvirlay olish orqali g'oyadan natijaga o'tish qisqaradi, bu esa ko'proq ijodiy iteratsiyalar oz vaqt ichida.

Savdo, fan va sport: o'yin-kulgidan tashqari

Facebook Marketplace’dagi “Xonada ko‘rish” amaliy ahamiyatini ko‘rsatadi: sotib olishdan oldin yashash xonangizda chiroq yoki mebelni ko‘rish daromadni kamaytiradi va ishonchni mustahkamlaydi. Uning orqasida tasvirlardan boshlab a hosil qiluvchi quvur bor Vizualizatsiya uchun 3D model kontekstual.

Fan va ta’lim sohasida oddiy fotosuratlardan rekonstruksiya qilish o‘quv materiallari va real simulyatorlarni yaratish xarajatlarini kamaytiradi. AI tomonidan yaratilgan anatomik modeldan sinflarda yoki... biomexanik tahliltarkibni tayyorlashni tezlashtirish.

Sport tibbiyotida tana tarkibi tahlilini shaklni qayta qurish bilan uyg'unlashtirish qimmat jihozlarsiz turish va harakatlarni o'rganish uchun vositalarni taqdim etadi. Bu imkoniyatlarni ochib beradi tez-tez baholash va masofaviy monitoring.

Maxfiylik, axloq va yaxshi amaliyotlar

Ushbu vositalarning kuchi mas'uliyatni talab qiladi. Odamlarning suratlarini ularning roziligisiz manipulyatsiya qilish huquqiy va axloqiy muammolarga olib kelishi mumkin. Tasvirlarni qayta tiklashdan qochish tavsiya etiladi. notanish yuzlarModellarni ruxsatsiz baham ko'rmang va chalkashlik yoki zarar keltirishi mumkin bo'lgan nozik sahnalarni o'zgartirmang.

Meta noto'g'ri foydalanishni yumshatish uchun nazoratni e'lon qiladi, ammo yakuniy javobgarlik texnologiya foydalanuvchisiga yuklanadi. Tasvirlarning kelib chiqishini tekshirish, shaxsiy ma'lumotlarni himoya qilish va kontekstni baholang shaxsiy ma'lumotlarni oshkor qilishi mumkin bo'lgan 3D modellarni nashr qilishdan oldin.

Professional sharoitlarda ko'rib chiqish va rozilik siyosatlarini o'rnatish va AI tomonidan yaratilgan kontentni aniq belgilash mas'uliyatli foydalanishga yordam beradi. Jamoani ushbu mavzular bo'yicha o'qitish yordam beradi yomon amaliyotlarning oldini olish allaqachon hodisalarga tezda javob berish.

SAM 3D yordamida odamlar va ob'ektlarni 3D modellarga qanday aylantirish mumkin: Qanday qilib boshlash kerak

Agar siz darhol tajriba o'tkazmoqchi bo'lsangiz, Anything Playground segmenti shlyuzdir. U erda siz rasm yoki video yuklashingiz, tanlamoqchi bo'lgan narsani yozishingiz va oddiy interfeysda 3D rekonstruksiya opsiyalarini sinab ko'rishingiz mumkin. Texnik profillar uchun [qo'shimcha variantlar mavjud]. og'irliklar, nazorat nuqtalari va kodlar moslashtirilgan testlarni osonlashtiradi.

Tadqiqotchilar, ishlab chiquvchilar va rassomlar ekotizimga ega bo'lib, ular benchmarklar, baholash ma'lumotlar to'plami va hujjatlarni o'z ichiga oladi. Maqsad - taraqqiyotni o'lchash va qabul qilishni tezlashtirish uchun umumiy asoslarni yaratish turli sohalarraqamli ijodkorlikdan robototexnikagacha.

Eng qizig'i shundaki, bu sakrash mutaxassislar uchun ajratilmagan: o'rganish egri chizig'i qisqarmoqda va funksiyalar kundalik ilovalarga etib bormoqda. Hammasi shuni ko'rsatadiki, tahrirlash va 3D ish oqimlariga qo'shilishda davom etadi tabiiy til interfeysdir.

SAM 3 va SAM 3D bilan Meta barcha o'lchamdagi ijodkorlar va jamoalarga matn segmentatsiyasi va bitta tasvirni qayta qurish imkonini beradi. O'yin maydonchasi, tahrirlardagi integratsiya, ochiq resurslar va tijorat, ta'lim va sportdagi ilovalar o'rtasida mustahkam poydevor yaratilmoqda. tasvirlar va hajm bilan ishlashning yangi usuli aniqlik, qulaylik va mas'uliyatni birlashtiradi.

Tegishli maqola:

Luma Ray bo'yicha to'liq qo'llanma: fotosuratlardan 3D sahnalarni yaratish

Xristian garciyasi

Kichkinaligidan texnologiyaga ishtiyoqi baland. Men ushbu sohada yangi bo'lishni va birinchi navbatda u bilan muloqot qilishni yaxshi ko'raman. Shuning uchun men ko'p yillar davomida texnologiya va video o'yin veb-saytlarida muloqot qilishga bag'ishlanganman. Siz meni Android, Windows, MacOS, iOS, Nintendo yoki xayolingizga keladigan boshqa mavzular haqida yozishim mumkin.