Teisenda inimesed ja objektid 3D-vormingusse Meta SAM 3 ja SAM 3D abil

¿Kuidas teisendada inimesi ja objekte SAM 3D abil 3D-mudeliteks? Visuaalidele rakendatud tehisintellektil on suur mõju ja nüüd on lisaks objektide täpsele väljalõikamisele võimalik ka teisendada üks pilt 3D-mudeliks Valmis avastama mitme nurga alt. Meta on tutvustanud uue põlvkonna tööriistu, mis ühendavad redigeerimise, visuaalse maailma mõistmise ja kolmemõõtmelise rekonstrueerimise ilma täiustatud seadmete või teadmisteta.

Me räägime SAM 3-st ja SAM 3D-st, kahest mudelist, mis on loodud tuvastamise, jälgimise ja segmenteerimise parandamiseks ning ... Objektide ja inimeste 3D-rekonstruktsioon laiale publikule. Nende ettepanek hõlmab tekstijuhiste ja visuaalsete signaalide samaaegset mõistmist, nii et elementide lõikamine, teisendamine ja rekonstrueerimine on sama lihtne kui soovitud teksti tippimine või mõne klõpsu tegemine.

Mis on SAM 3 ja SAM 3D ning mille poolest need erinevad?

Meta Segment Anything tooteperekond laieneb kahe uue lisandusega: SAM 3 ja SAM 3D. Esimene keskendub fotodel ja videotes objektide tuvastamisele, jälgimisele ja segmenteerimisele järgmise põlvkonna täpsusega, teine ​​aga... Taastab ühest pildist 3D-geomeetria ja välimusesealhulgas inimesed, loomad või igapäevased tooted.

Funktsionaalne erinevus on selge: SAM 3 tegeleb visuaalse sisu "mõistmise ja eraldamisega" ning SAM 3D kasutab seda arusaamist kolmemõõtmelise mahu "loomiseks". Selle paarilise abil saab töövoog, mis varem nõudis keerukat tarkvara või spetsiaalseid skannereid, ... palju kättesaadavam ja kiirem.

Lisaks ei piirdu SAM 3 ainult põhiliste visuaalsete juhistega. See pakub loomulikul keelel põhinevat segmenteerimist, mis on võimeline tõlgendama väga täpsed kirjeldusedMe ei räägi enam ainult "autost" või "pallist", vaid kasutame ka selliseid fraasid nagu "punane pesapallimüts", et neid elemente stseenis, isegi kogu video ulatuses, täpselt leida.

Samal ajal on SAM 3D saadaval kahes teineteist täiendavas variandis: SAM 3D objektid, mis keskenduvad objektid ja stseenidja SAM 3D Body, mis on treenitud inimese kuju ja keha hindamiseks. See spetsialiseerumine võimaldab sellel katta kõike alates tarbekaupadest kuni portreede ja poosideni, avades ukse loomingulistele, ärilistele ja teaduslikele rakendustele.

Kuidas neil õnnestub ühest pildist segmenteerida ja rekonstrueerida?

Võti peitub arhitektuuris, mis on treenitud suurte andmemahtude peal, et luua otseseid seoseid sõnade ja pikslite vahel. Mudel mõistab kirjalikke juhiseid ja visuaalseid signaale (klõpsud, punktid või kastid) samaaegselt, nii et tõlkida päring konkreetsetesse valdkondadesse fotost või videokaadrist.

See keele mõistmine ulatub traditsioonilistest klassinimedest kaugemale. SAM 3 suudab hakkama saada keerukate käskude, väljajätmiste ja nüanssidega, võimaldades päringuid nagu „inimesed, kes istuvad ja ei kanna punast mütsi“. See ühilduvus detailsed tekstipõhised juhised See lahendab varasemate mudelite ajaloolise piirangu, mis kippus detailseid kontseptsioone segi ajama.

Seejärel tuleb mängu SAM 3D: alustades pildist, genereerib see kolmemõõtmelise mudeli, mis võimaldab teil objekti vaadata teistest vaatenurkadest, stseeni ümber korraldada või 3D-efekte rakendada. Praktikas integreerub see eelmise segmenteerimisega, et eraldada see, mis meid huvitab, ja seega... Ehita uuesti 3D-s ilma keeruliste vaheetappideta.

Uued funktsioonid võrreldes eelmiste põlvkondadega

SAM 1 ja SAM 2 muutsid segmenteerimist revolutsiooniliselt, tuginedes suuresti visuaalsetele vihjetele. Neil oli aga raskusi, kui neilt paluti pakkuda pikki tõlgendusi või nüansirikkaid loomuliku keele juhiseid. SAM 3 murrab selle barjääri, kaasates multimodaalne arusaam mis seob teksti ja nägemise otsesemalt.

Meta lisab edusammudele uue võrdlusaluse avatud sõnavara segmenteerimineLoodud tekstipõhise segmenteerimise hindamiseks reaalsetes stsenaariumides ja koos SAM 3 kaalude avaldamisega. Sel viisil saavad teadlased ja arendajad meetodite vahel rangelt mõõta ja tulemusi võrrelda.

Meta jagatud andmete kohaselt on SAM 3D Objects oma ümberkujundamises varasematest lähenemisviisidest oluliselt parem ning avaldab ka kontrollpunktid, järelduskoodi ja hindamiskomplekti. Lisaks SAM 3D Bodyle avaldab ettevõte ka SAM 3D kunstnikuobjektid, kunstnikega loodud uus andmestik 3D-kvaliteedi hindamiseks väga erinevates piltides.

Reaalse maailma rakendused ja kohesed kasutusjuhud

Meta integreerib need võimalused oma toodetesse. Nende Instagrami ja Facebooki videotööriistas „Edits” kasutatakse videotele efektide lisamiseks juba täiustatud segmenteerimist. konkreetsed inimesed või objektid ilma ülejäänud pilti mõjutamata. See hõlbustab tausta muutmist, valikuliste filtrite või sihipäraste teisenduste tegemist ilma kvaliteeti ohverdamata.

Näeme neid funktsioone ka Vibesis, Meta AI rakenduses ja meta.ai platvormil, pakkudes uusi redigeerimis- ja loomingulisi kogemusi. Keeruliste juhiste lubamisega saab kasutaja kirjeldada, mida ta soovib muuta, ja süsteem reageerib vastavalt. automatiseerib järeltootmise ülesandeid mis varem oli töömahukas.

Kaubanduses paistab silma Facebook Marketplace'i funktsioon „Vaade toas”, mis aitab kasutajatel automaatselt genereeritud 3D-mudelite abil visualiseerida, kuidas mööbel või lambid nende kodus välja näeksid. See funktsionaalsus vähendab ebakindlust ja parandab ostuotsuseid, võtmetähtsusega punkt, kui me toodet füüsiliselt näha ei saa.

Mõju laieneb robootikale, teadusele, haridusele ja spordimeditsiinile. Lihtsate fotode 3D-rekonstruktsioon saab toita simulaatoreid, luua anatoomilisi võrdlusmudeleid ja toetada analüüsivahendeid, mis varem nõudsid spetsiaalset varustust. Kõik see soodustab uued töövood teadusuuringutes ja koolituses.

Segmenteeri kõike mänguväljakul: testi ja loo hõõrdumisteta

Juurdepääsu demokratiseerimiseks on Meta käivitanud Segmenteeri kõike mänguväljakulVeebisait, kuhu igaüks saab üles laadida pilte või videoid ja katsetada SAM 3 ja SAM 3D-ga. Selle liides meenutab klassikaliste redaktorite "võlukeppi", mille eeliseks on see, et me saame kirjutame, mida me valida tahame või täpsustage mõne klõpsuga.

Lisaks pakub Mänguväljak kasutusvalmis malle. Nende hulka kuuluvad praktilised valikud, näiteks pikslitega näod või numbrimärgidja loomingulisemaid efekte, näiteks liikumisjäljed või prožektorid. See võimaldab sekunditega saavutada identiteedikaitse ülesandeid või pilkupüüdvaid efekte.

Lisaks segmenteerimisele saavad kasutajad SAM 3D abil uurida stseene uutest vaatenurkadest, neid ümber korraldada või rakendada kolmemõõtmelisi efekte. Eesmärk on, et igaüks, kellel pole eelnevaid 3D- või arvutinägemise alaseid teadmisi, saaks seda teha. saavutada vastuvõetavaid tulemusi minutitega ja ilma midagi installimata.

Mudelid, avatud ressursid ja hindamine

Meta on avaldanud ressursse, mis aitavad kogukonnal tipptasemel tehnoloogiat edasi viia. SAM 3 jaoks on saadaval järgmised vahendid: mudeli kaalud koos avatud sõnavara võrdlusanalüüsi ja tehnilise dokumendiga, milles kirjeldatakse arhitektuuri ja koolitust. See hõlbustab reprodutseeritavust ja õiglast võrdlemist.

3D-valdkonnas on ettevõte välja andnud kontrollpunktid, järelduskoodi ja järgmise põlvkonna hindamiskomplekti. SAM 3D Objects'i ja SAM 3D Body'i duaalsus võimaldab ulatuslikku käsitlemist. üldised objektid ja inimkeha iga juhtumi jaoks kohandatud mõõdikutega, mis on oluline geomeetrilise ja visuaalse täpsuse hindamiseks.

Kunstnikega koostöö tegemine SAM 3D kunstnikuobjektide loomiseks toob hindamisse kaasa esteetilised ja mitmekesisuse kriteeriumid, mitte ainult tehnilised. See on 3D-rekonstruktsiooni kasulikuks muutmise võti. loominguline ja ärikeskkondkus inimeste tajutav kvaliteet määrabki.

Teksti segmenteerimine: näited ja eelised

SAM 3 abil saate sisestada „punane pesapallimüts” ja süsteem tuvastab kõik vasted pildil või videos. See täpsus avab ukse redigeerimisvoogudele, kus piisab lihtsalt „punase pesapallimütsi” sisestamisest. lühikesed ja selged laused elementide eraldamiseks ja neile efektide või teisenduste rakendamiseks.

Ühilduvus multimodaalsete keelemudelitega võimaldab rikkalikumaid juhiseid, sh erandeid või tingimusi („inimesed istuvad maha, kuid ei kanna punast mütsi“). See paindlikkus vähendab käsitsi töötamise aega ja vähendab valikuvead mis olid eelnevalt käsitsi parandatud.

Meeskondade jaoks, kes loovad sisu suures mahus, kiirendab tekstipõhine segmenteerimine töövooge ja lihtsustab tulemuste standardiseerimist. Näiteks turunduses saab järjepidevust säilitada tooteperekonnale filtrite rakendamisega, mis parandab aega ja kulusid tootmisest.

Sotsiaalmeedia toimetamine ja digitaalne loovus

Integratsioon Edits'i pakub Instagrami ja Facebooki loojatele täiustatud järeltöötlusfunktsioone. Filtrit, mis varem nõudis keerukaid maske, saab nüüd rakendada tekstikäsu ja mõne klõpsuga, säilitades samal ajal servad ja peened detailid stabiilne kaader kaadri haaval.

Lühikeste teoste puhul, mille puhul avaldamise ajakava on oluline, on see automatiseerimine kuldaväärt. Klipi tausta muutmine, ainult ühe inimese esiletõstmine või konkreetse objekti teisendamine ei nõua enam käsitsi töövooge ja see... demokratiseerib mõjusid mis varem olid ainult professionaalidele.

Samal ajal laiendavad Vibes ja meta.ai kogemuste valikut keelepõhise toimetamise ja loovuse abil. Võimalusega üksikasjalikult kirjeldada, mida me tahame, lüheneb hüpe ideest tulemuseni, mis tähendab loomingulisemaid iteratsioone vähem aega.

Kaubandus, teadus ja sport: meelelahutusest kaugemale

Facebooki turuplatsil olev „View in Room” on praktiline näide: lambi või mööblieseme nägemine enne ostmist elutoas vähendab tootlust ja suurendab usaldust. Selle taga on torujuhe, mis algab piltidest ja genereerib... 3D-mudel visualiseerimiseks kontekstuaalne.

Teaduses ja hariduses vähendab lihtsate fotode põhjal rekonstrueerimine õppematerjalide ja realistlike simulaatorite loomise kulusid. Tehisintellekti loodud anatoomilist mudelit saab kasutada tugivahendina klassiruumides või... biomehaaniline analüüssisu ettevalmistamise kiirendamine.

Spordimeditsiinis pakub kehakoostise analüüsi ja vormi rekonstrueerimise kombineerimine tööriistu asendite ja liigutuste uurimiseks ilma kallite seadmeteta. See avab võimalusi sagedasemad hindamised ja kaugseire.

Privaatsus, eetika ja head tavad

Nende tööriistade võimsus nõuab vastutust. Inimeste piltide manipuleerimine ilma nende nõusolekuta võib kaasa tuua õiguslikke ja eetilisi probleeme. Soovitatav on vältida piltide rekonstrueerimist. võõrad näodÄrge jagage modelle ilma loata ja ärge muutke tundlikke stseene, mis võivad segadust või kahju tekitada.

Meta kuulutab välja meetmed väärkasutuse vähendamiseks, kuid lõplik vastutus lasub tehnoloogia kasutajal. Soovitatav on kontrollida piltide päritolu, kaitsta isikuandmeid ja hinda konteksti enne 3D-mudelite avaldamist, mis võivad paljastada privaatset teavet.

Professionaalses keskkonnas aitab vastutustundlikule kasutamisele kaasa ülevaatamise ja nõusoleku poliitika kehtestamine ning tehisintellekti loodud sisu selge märgistamine. Meeskonna koolitamine nendel teemadel aitab halbade tavade ennetamine reageerivad juba praegu intsidentidele kiiresti.

Kuidas teisendada inimesi ja objekte 3D-mudeliteks SAM 3D abil: kuidas alustada

Kui soovid kohe katsetama hakata, on selleks värav „Anything Playground Segment“. Seal saad üles laadida foto või video, sisestada valiku ja proovida lihtsas liideses 3D-rekonstruktsiooni valikuid. Tehniliste profiilide jaoks on saadaval [lisavalikud]. kaalud, kontrollpunktid ja kood mis hõlbustab kohandatud testimist.

Teadlastel, arendajatel ja kunstnikel on ökosüsteem, mis hõlmab võrdlusaluseid, hindamisandmestikke ja dokumentatsiooni. Eesmärk on luua ühine alus edusammude mõõtmiseks ja kasutuselevõtu kiirendamiseks. eri sektoritesdigitaalsest loovusest robootikani.

Kõige huvitavam on see, et see hüpe pole reserveeritud ainult spetsialistidele: õppimiskõver lüheneb ja funktsioonid jõuavad igapäevastesse rakendustesse. Kõik viitab sellele, et redigeerimine ja 3D integreeritakse jätkuvalt töövoogudesse, kus loomulik keel on liides.

SAM 3 ja SAM 3D abil pakub Meta teksti segmenteerimist ja üksikute piltide rekonstrueerimist igas suuruses loojatele ja meeskondadele. Mänguväljaku, Edits'i integratsiooni, avatud ressursside ning kaubanduse, hariduse ja spordi rakenduste vahel luuakse kindel alus. uus viis piltide ja helitugevusega töötamiseks mis ühendab endas täpsuse, ligipääsetavuse ja vastutustundlikkuse.