Konvertuokite žmones ir objektus į 3D formatą naudodami „Meta“ SAM 3 ir SAM 3D

¿Kaip konvertuoti žmones ir objektus į 3D modelius naudojant SAM 3D? Dirbtinis intelektas, pritaikytas vizualiai, daro didelę įtaką ir dabar, be tikslaus objektų iškirpimo, įmanoma konvertuoti vieną vaizdą į 3D modelį Pasiruošę tyrinėti iš įvairių kampų. „Meta“ pristatė naujos kartos įrankius, kurie sujungia redagavimą, vizualinio pasaulio supratimą ir trimatį rekonstrukciją nereikalaujant pažangios įrangos ar žinių.

Kalbame apie SAM 3 ir SAM 3D – du modelius, kurie skirti pagerinti aptikimą, sekimą ir segmentavimą bei... Objektų ir žmonių 3D rekonstrukcija plačiai auditorijai. Jų pasiūlymas apima tekstinių instrukcijų ir vaizdinių signalų supratimą vienu metu, kad elementų kirpimas, transformavimas ir rekonstravimas būtų toks pat paprastas, kaip norimo teksto įvedimas ar kelių paspaudimų atlikimas.

Kas yra SAM 3 ir SAM 3D ir kuo jie skiriasi?

„Meta“ „Segment Anything“ šeima plečiasi dviem naujais priedais: SAM 3 ir SAM 3D. Pirmasis skirtas objektų identifikavimui, sekimui ir segmentavimui nuotraukose ir vaizdo įrašuose naudojant naujos kartos tikslumą, o antrasis... Atkuria 3D geometriją ir išvaizdą iš vieno vaizdoįskaitant žmones, gyvūnus ar kasdienius produktus.

Funkcinis skirtumas akivaizdus: SAM 3 tvarko vaizdinio turinio „supratimą ir atskyrimą“, o SAM 3D naudoja šį supratimą trimačiam tūriui „sukurti“. Dėl šio sujungimo darbo eiga, kuriai anksčiau reikėjo sudėtingos programinės įrangos ar specializuotų skaitytuvų, tampa... daug prieinamesnis ir greitesnis.

Be to, SAM 3 neapsiriboja vien tik pagrindinėmis vaizdinėmis užuominomis. Jis teikia natūralia kalba pagrįstą segmentavimą, gebantį interpretuoti labai tikslūs aprašymaiMes nebekalbame tik apie „automobilį“ ar „kamuolį“, bet ir apie tokias frazes kaip „raudona beisbolo kepuraitė“, kad tiksliai nustatytume tuos elementus scenoje, net ir visame vaizdo įraše.

Tuo tarpu „SAM 3D“ yra dviejų vienas kitą papildančių variantų: „SAM 3D Objects“, orientuotas į objektai ir scenosir „SAM 3D Body“, apmokytas įvertinti žmogaus formą ir pavidalą. Ši specializacija leidžia aprėpti viską – nuo ​​plataus vartojimo prekių iki portretų ir pozų, atveriant duris kūrybinėms, komercinėms ir mokslinėms reikmėms.

Kaip jiems pavyksta segmentuoti ir rekonstruoti iš vieno vaizdo?

Svarbiausia yra architektūra, apmokyta dideliems duomenų kiekiams, kad būtų galima nustatyti tiesioginius ryšius tarp žodžių ir pikselių. Modelis vienu metu supranta rašytines instrukcijas ir vaizdinius signalus (spragtelėjimus, taškus ar langelius), kad išversti užklausą į konkrečias sritis nuotraukos arba vaizdo įrašo kadro.

Šis kalbos supratimas peržengia tradicinių klasių pavadinimų ribas. SAM 3 gali apdoroti sudėtingas instrukcijas, išimtis ir niuansus, įgalindama tokias užklausas kaip „sėdintys žmonės, kurie nedėvi raudonos skrybėlės“. Šis suderinamumas su išsamios tekstinės užklausos Tai išsprendžia ankstesnių modelių istorinį apribojimą, kuris dažnai painiojo detalias sąvokas.

Tada pradeda veikti SAM 3D: pradedant nuo vaizdo, sukuriamas trimatis modelis, leidžiantis peržiūrėti objektą iš kitų perspektyvų, pertvarkyti sceną arba pritaikyti 3D efektus. Praktiškai jis integruojasi su ankstesne segmentacija, kad išskirtų tai, kas mus domina, ir taip... Perkonstruokite 3D formatu be sudėtingų tarpinių žingsnių.

Naujos funkcijos, palyginti su ankstesnėmis kartomis

SAM 1 ir SAM 2 sukėlė revoliuciją segmentavime, daugiausia remdamiesi vaizdiniais ženklais. Tačiau jiems buvo sunku, kai jų buvo prašoma pateikti ilgas interpretacijas arba niuansuotas natūralios kalbos instrukcijas. SAM 3 įveikia šią kliūtį, įtraukdamas multimodalinis supratimas kuris tiesiogiai sujungia tekstą ir vaizdą.

Meta lydi pažangą nauju etalonu atvira žodyno segmentacijaSukurta tekstu paremtai segmentacijai įvertinti realiose situacijose ir paskelbus SAM 3 svorius. Tokiu būdu tyrėjai ir kūrėjai gali griežtai išmatuoti ir palyginti skirtingų metodų rezultatus.

„Meta“ pasidalintuose duomenyse teigiama, kad atnaujintame „SAM 3D Objects“ gerokai patobulinti ankstesni metodai, taip pat išleisti kontroliniai taškai, išvadų kodas ir vertinimo rinkinys. Kartu su „SAM 3D Body“ bendrovė išleidžia SAM 3D menininko objektai– naujas duomenų rinkinys, sukurtas kartu su menininkais, skirtas įvertinti 3D kokybę įvairiuose vaizduose.

Realaus pasaulio taikymai ir tiesioginio naudojimo atvejai

„Meta“ integruoja šias galimybes į savo produktus. „Edits“ – savo vaizdo įrašų įrankyje, skirtame „Instagram“ ir „Facebook“, – išplėstinė segmentacija jau naudojama efektams vaizdo įrašams pritaikyti. konkretūs žmonės ar objektai nepaveikiant likusio vaizdo. Tai palengvina fono keitimą, atrankinius filtrus arba tikslines transformacijas neprarandant kokybės.

Šias funkcijas taip pat matysime „Vibes“, „Meta AI“ programėlėje ir „meta.ai“ platformoje, siūlydamos naujas redagavimo ir kūrybines patirtis. Leidžiant sudėtingas instrukcijas, vartotojas gali aprašyti, ką nori modifikuoti, o sistema atitinkamai reaguos. automatizuoja pogamybines užduotis kuris anksčiau buvo varginantis.

Komercijoje išsiskiria „Facebook Marketplace“ funkcija „Vaizdas kambaryje“, kuri padeda vartotojams vizualizuoti, kaip baldai ar šviestuvai atrodytų jų namuose, nes automatiškai generuojami 3D modeliai. Ši funkcija sumažina netikrumą ir... pagerina pirkimo sprendimą, esminis momentas, kai negalime fiziškai matyti produkto.

Poveikis apima robotiką, mokslą, švietimą ir sporto mediciną. 3D rekonstrukcija iš paprastų nuotraukų gali būti naudojama simuliatoriuose, sukurti anatominius etaloninius modelius ir paremti analizės įrankius, kuriems anksčiau reikėjo specializuotos įrangos. Visa tai skatina naujos darbo eigos tyrimuose ir mokymuose.

„Segment Anything Playground“: testuokite ir kurkite be trinties

Siekdama demokratizuoti prieigą, „Meta“ pradėjo Segmentuoti bet ką žaidimų aikštelėjeSvetainė, kurioje kiekvienas gali įkelti paveikslėlių ar vaizdo įrašų ir eksperimentuoti su SAM 3 ir SAM 3D. Jos sąsaja primena klasikinių redaktorių „stebuklingą lazdelę“, o pranašumas tas, kad galime parašykite, ką norime pasirinkti arba patikslinkite keliais paspaudimais.

Be to, „Playground“ siūlo paruoštus naudoti šablonus. Tai apima praktines parinktis, tokias kaip pikselių pavidalo veidai arba numerių ženklaiir daugiau kūrybinių efektų, tokių kaip judesio pėdsakai ar prožektoriai. Tai leidžia per kelias sekundes pasiekti tapatybės apsaugos užduotis arba akį traukiančius efektus.

Be segmentavimo, vartotojai gali tyrinėti scenas iš naujų perspektyvų, pertvarkyti jas arba pritaikyti trimačius efektus naudodami SAM 3D. Tikslas – kad tai galėtų daryti kiekvienas, neturintis išankstinių 3D ar kompiuterinės regos žinių. pasiekti priimtinų rezultatų per kelias minutes ir nieko neįdiegiant.

Modeliai, atviri ištekliai ir vertinimas

„Meta“ išleido išteklius, skirtus padėti bendruomenei tobulinti pažangiausias technologijas. SAM 3 atveju yra šie ištekliai: modelio svoriai kartu su atviru žodyno etalonu ir techniniu dokumentu, kuriame išsamiai aprašoma architektūra ir mokymas. Tai palengvina atkuriamumą ir teisingą palyginimą.

Kalbant apie 3D, bendrovė išleido kontrolinius taškus, išvadų kodą ir naujos kartos vertinimo rinkinį. SAM 3D objektų ir SAM 3D kūno dualumas leidžia aprėpti visą šią sritį. bendri objektai ir žmogaus kūnas su kiekvienu atveju pritaikytais rodikliais, o tai yra esminis dalykas norint įvertinti geometrinį ir vizualinį tikslumą.

Bendradarbiaujant su menininkais kuriant SAM 3D menininko objektus, vertinimas apima ne tik techninius, bet ir estetinius bei įvairovės kriterijus. Tai labai svarbu, kad 3D rekonstrukcija būtų naudinga. kūrybinės ir komercinės aplinkoskur lemiamą vaidmenį atlieka žmonių suvokiama kokybė.

Teksto segmentavimas: pavyzdžiai ir privalumai

Naudodami SAM 3, galite įvesti „raudona beisbolo kepuraitė“, ir sistema atpažins visus atitikmenis paveikslėlyje arba visame vaizdo įraše. Toks tikslumas atveria duris redagavimo darbo eigoms, kur pakanka tiesiog įvesti „raudona beisbolo kepuraitė“. trumpi ir aiškūs sakiniai atskirti elementus ir jiems taikyti efektus arba transformacijas.

Suderinamumas su multimodaliniais kalbos modeliais leidžia pateikti išsamesnes instrukcijas, įskaitant išimtis ar sąlygas („sėdintys žmonės be raudonos kepurės“). Šis lankstumas sumažina fizinio darbo valandas ir sumažina atrankos klaidos kurie anksčiau buvo pataisyti ranka.

Komandoms, kuriančioms turinį dideliu mastu, tekstu pagrįsta segmentacija pagreitina srautus ir palengvina rezultatų standartizavimą. Pavyzdžiui, rinkodaroje nuoseklumą galima išlaikyti taikant filtrus produktų šeimai, o tai reiškia, kad... pagerina laiką ir sąnaudas gamybos.

Socialinių tinklų redagavimas ir skaitmeninis kūrybiškumas

Integracija į „Edits“ suteikia „Instagram“ ir „Facebook“ kūrėjams pažangias postprodukcijos funkcijas. Filtrą, kuriam anksčiau reikėjo sudėtingų kaukių, dabar galima pritaikyti teksto komanda ir keliais spustelėjimais, išlaikant kraštai ir smulkios detalės stabilus kadras po kadro.

Trumpiems kūriniams, kuriems svarbus publikavimo grafikas, ši automatizacija yra aukso vertės. Norint pakeisti klipo foną, paryškinti tik vieną asmenį ar transformuoti konkretų objektą, nebereikia rankinių darbo eigų. demokratizuoja efektus kurie anksčiau buvo skirti tik profesionalams.

Tuo tarpu „Vibes“ ir „meta.ai“ plečia kalbos valdomo redagavimo ir kūrybiškumo patirčių spektrą. Galimybė išsamiai aprašyti, ko norime, sutrumpina kelią nuo idėjos iki rezultato, o tai reiškia daugiau kūrybinių iteracijų per trumpesnį laiką.

Komercija, mokslas ir sportas: daugiau nei pramogos

„View in Room“ (vaizdas kambaryje) „Facebook Marketplace“ svetainėje iliustruoja praktinę vertę: lempos ar baldo pamatymas svetainėje prieš perkant sumažina grąžą ir sukuria pasitikėjimą. Už to slypi kanalas, kuris, pradedant nuo vaizdų, sukuria 3D modelis vizualizacijai kontekstinis.

Mokslo ir švietimo srityje rekonstrukcija iš paprastų nuotraukų sumažina mokymo medžiagos ir realistiškų simuliatorių kūrimo išlaidas. Dirbtinio intelekto sukurtas anatominis modelis gali būti naudojamas kaip pagalbinė priemonė klasėse arba... biomechaninė analizėpagreitinti turinio rengimą.

Sporto medicinoje kūno sudėties analizės ir formos rekonstrukcijos derinimas suteikia įrankius laikysenoms ir judesiams tirti be brangios įrangos. Tai atveria galimybes dažnesni vertinimai ir nuotolinis stebėjimas.

Privatumas, etika ir geroji praktika

Šių įrankių galia reikalauja atsakomybės. Žmonių vaizdų manipuliavimas be jų sutikimo gali sukelti teisinių ir etinių problemų. Patartina vengti vaizdų atkūrimo. nepažįstami veidaiNesidalinkite modeliais be leidimo ir nekeiskite jautrių scenų, kurios gali sukelti painiavą ar žalą.

„Meta“ skelbia apie kontrolės priemones, skirtas piktnaudžiavimui mažinti, tačiau galutinė atsakomybė tenka technologijos naudotojui. Patartina patikrinti vaizdų kilmę, apsaugoti asmens duomenis ir... įvertinti kontekstą prieš publikuojant 3D modelius, kurie gali atskleisti asmeninę informaciją.

Profesionalioje aplinkoje peržiūros ir sutikimo politikos nustatymas bei aiškus dirbtinio intelekto sukurto turinio žymėjimas prisideda prie atsakingo naudojimo. Komandos mokymai šiomis temomis padeda užkirsti kelią blogai praktikai jau greitai reaguoja į incidentus.

Kaip konvertuoti žmones ir objektus į 3D modelius naudojant SAM 3D: Kaip pradėti

Jei norite iš karto eksperimentuoti, „Anything Playground“ segmentas yra tam skirtas. Ten galite įkelti nuotrauką ar vaizdo įrašą, įvesti norimą pasirinkti elementą ir išbandyti 3D rekonstrukcijos parinktis paprastoje sąsajoje. Techninius profilius rasite [papildomos parinktys]. svoriai, kontroliniai taškai ir kodas kurie palengvina individualų testavimą.

Tyrėjai, kūrėjai ir menininkai turi ekosistemą, apimančią lyginamuosius testus, vertinimo duomenų rinkinius ir dokumentaciją. Tikslas – sukurti bendrą pagrindą pažangai matuoti ir diegimui paspartinti. skirtingi sektoriainuo skaitmeninio kūrybiškumo iki robotikos.

Įdomiausia, kad šis šuolis skirtas ne tik specialistams: mokymosi kreivė trumpėja, o funkcijos pasiekia kasdienes programas. Viskas rodo, kad redagavimas ir 3D bus ir toliau integruojami į darbo eigą, kurioje natūrali kalba yra sąsaja.

Su „SAM 3“ ir „SAM 3D“ „Meta“ suteikia teksto segmentavimo ir vieno vaizdo rekonstrukcijos galimybes įvairaus dydžio kūrėjams ir komandoms. Tarp „Playground“, integracijos į „Edits“, atvirųjų išteklių ir programų komercijoje, švietime bei sporte kuriamas tvirtas pagrindas. naujas būdas dirbti su vaizdais ir tūriu kuris apjungia tikslumą, prieinamumą ir atsakomybę.