Konvertoni njerëzit dhe objektet në 3D me SAM 3 dhe SAM 3D të Meta-s

¿Si të konvertohen njerëzit dhe objektet në modele 3D me SAM 3D? Inteligjenca artificiale e aplikuar në pamje po jep një ndikim të madh dhe tani, përveç prerjes me saktësi të objekteve, është e mundur... konvertoni një imazh të vetëm në një model 3D Gati për të eksploruar nga këndvështrime të shumta. Meta ka prezantuar një brez të ri mjetesh që lidhin redaktimin, kuptimin vizual të botës dhe rindërtimin tre-dimensional pa kërkuar pajisje ose njohuri të përparuara.

Po flasim për SAM 3 dhe SAM 3D, dy modele që vijnë për të përmirësuar zbulimin, gjurmimin dhe segmentimin, si dhe për të sjellë Rindërtimi 3D i objekteve dhe njerëzve për një audiencë të gjerë. Propozimi i tyre përfshin kuptimin e udhëzimeve të tekstit dhe sinjaleve vizuale njëkohësisht, në mënyrë që prerja, transformimi dhe rindërtimi i elementeve të jetë po aq i lehtë sa shtypja e asaj që duam ose bërja e disa klikimeve.

Çfarë janë SAM 3 dhe SAM 3D dhe si ndryshojnë ato?

Familja Segment Anything e Meta-s zgjerohet me dy shtesa të reja: SAM 3 dhe SAM 3D. E para përqendrohet në identifikimin, gjurmimin dhe segmentimin e objekteve në foto dhe video me saktësi të gjeneratës së ardhshme, ndërsa e dyta Rindërton gjeometrinë dhe pamjen 3D nga një imazh i vetëmduke përfshirë njerëzit, kafshët ose produktet e përditshme.

Dallimi funksional është i qartë: SAM 3 merret me "kuptimin dhe ndarjen" e përmbajtjes vizuale, dhe SAM 3D e përdor këtë kuptim për të "krijuar" një vëllim tredimensional. Me këtë çiftëzim, një rrjedhë pune që më parë kërkonte softuer kompleks ose skanerë të specializuar bëhet shumë më i arritshëm dhe më i shpejtë.

Për më tepër, SAM 3 nuk kufizohet vetëm në sugjerime vizuale bazë. Ai ofron segmentim të udhëhequr nga gjuha natyrore, i aftë të interpretojë përshkrime shumë të saktaNuk flasim më vetëm për "makinë" ose "top", por për fraza të tilla si "kapelë e kuqe bejsbolli" për të gjetur saktësisht ato elementë në një skenë, madje edhe gjatë gjithë një videoje.

Ndërkohë, SAM 3D vjen në dy shije plotësuese: SAM 3D Objects, i fokusuar në objekte dhe skenadhe SAM 3D Body, të trajnuar për të vlerësuar formën dhe trupin e njeriut. Ky specializim i lejon asaj të mbulojë gjithçka, nga mallrat e konsumit deri te portretet dhe pozat, duke hapur derën për aplikime krijuese, komerciale dhe shkencore.

Si ia dalin të segmentojnë dhe rindërtojnë nga një imazh i vetëm?

Çelësi qëndron në një arkitekturë të trajnuar mbi vëllime të mëdha të dhënash për të vendosur lidhje të drejtpërdrejta midis fjalëve dhe pikselëve. Modeli i kupton udhëzimet e shkruara dhe sinjalet vizuale (klikime, pika ose kuti) njëkohësisht, në mënyrë që përkthejeni një kërkesë në fusha specifike të një kornize fotografike ose videoje.

Ky kuptim i gjuhës shkon përtej emrave tradicionalë të klasave. SAM 3 mund të trajtojë udhëzime, përjashtime dhe nuanca komplekse, duke mundësuar pyetje të tilla si "njerëz të ulur që nuk mbajnë kapelë të kuqe". Kjo përputhshmëri me udhëzime të hollësishme me tekst Ai zgjidh një kufizim historik të modeleve të mëparshme, të cilat tentonin të ngatërronin konceptet e hollësishme.

Pastaj hyn në lojë SAM 3D: duke filluar me një imazh, ai gjeneron një model tre-dimensional që ju lejon të shihni objektin nga perspektiva të tjera, të riorganizoni skenën ose të aplikoni efekte 3D. Në praktikë, ai integrohet me segmentimin e mëparshëm për të izoluar atë që na intereson dhe, për këtë arsye, Rindërtoni në 3D pa hapa të ndërmjetëm të ndërlikuar.

Karakteristika të reja krahasuar me gjeneratat e mëparshme

SAM 1 dhe SAM 2 revolucionarizuan segmentimin duke u mbështetur shumë në sinjale vizuale. Megjithatë, ata hasën vështirësi kur u kërkua të ofronin interpretime të gjata ose udhëzime të nuancuara në gjuhën natyrore. SAM 3 e thyen këtë pengesë duke përfshirë të kuptuarit multimodal që lidh tekstin dhe vizionin në mënyrë më të drejtpërdrejtë.

Meta e shoqëron progresin me një pikë referimi të re prej segmentim i hapur i fjaloritI projektuar për të vlerësuar segmentimin e udhëhequr nga teksti në skenarë të botës reale, dhe me publikimin e peshave SAM 3. Në këtë mënyrë, studiuesit dhe zhvilluesit mund të matin dhe krahasojnë me rigorozitet rezultatet midis metodave.

Në ridizajnimin e tij, SAM 3D Objects përmirëson ndjeshëm qasjet e mëparshme, sipas të dhënave të ndara nga Meta, e cila gjithashtu publikon pikat e kontrollit, kodin e përfundimit dhe një set vlerësimi. Krahas SAM 3D Body, kompania po publikon Objektet e Artistit 3D SAM, një set i ri të dhënash i krijuar me artistë për të vlerësuar cilësinë 3D në një larmi të gjerë imazhesh.

Aplikime në botën reale dhe raste përdorimi të menjëhershme

Meta po i integron këto aftësi në produktet e saj. Në “Edits”, mjetin e saj për video për Instagram dhe Facebook, segmentimi i avancuar po përdoret tashmë për të aplikuar efekte në video. njerëz ose objekte specifike pa ndikuar në pjesën tjetër të imazhit. Kjo lehtëson ndryshimet në sfond, filtrat selektivë ose transformimet e synuara pa sakrifikuar cilësinë.

Këto veçori do t’i shohim edhe në Vibes, brenda aplikacionit Meta AI dhe në platformën meta.ai, me përvoja të reja redaktimi dhe krijuese. Duke lejuar udhëzime komplekse, përdoruesi mund të përshkruajë se çfarë dëshiron të modifikojë dhe sistemi do të përgjigjet në përputhje me rrethanat. automatizon detyrat e post-prodhimit që dikur ishte e mundimshme.

Në tregti, "Pamje në dhomë" e Facebook Marketplace spikat, duke i ndihmuar përdoruesit të vizualizojnë se si do të dukeshin mobiljet ose llambat në shtëpinë e tyre falë modeleve 3D të gjeneruara automatikisht. Ky funksionalitet zvogëlon pasigurinë dhe përmirëson vendimin e blerjes, një pikë kyçe kur nuk mund ta shohim fizikisht produktin.

Ndikimi shtrihet në robotikë, shkencë, arsim dhe mjekësi sportive. Rindërtimi 3D nga fotografi të thjeshta mund të ushqejë simulatorët, të krijojë modele referimi anatomike dhe të mbështesë mjetet e analizës që më parë kërkonin pajisje të specializuara. E gjithë kjo nxit rrjedha pune të reja në kërkim dhe trajnim.

Segment Anything Playground: testoni dhe krijoni pa probleme

Për të demokratizuar aksesin, Meta ka lançuar Segment Anything PlaygroundNjë faqe interneti ku kushdo mund të ngarkojë imazhe ose video dhe të eksperimentojë me SAM 3 dhe SAM 3D. Ndërfaqja e saj të kujton "shkopin magjik" të redaktorëve klasikë, me avantazhin që ne mundemi shkruajmë atë që duam të zgjedhim ose përsosni me disa klikime.

Përveç kësaj, Playground ofron shabllone të gatshme për përdorim. Këto përfshijnë opsione praktike si p.sh. fytyra ose targa të pikseluaradhe efekte më krijuese si gjurmë lëvizjeje ose reflektorë. Kjo bën të mundur arritjen e detyrave të mbrojtjes së identitetit ose efekteve tërheqëse për syrin brenda sekondash.

Përtej segmentimit, përdoruesit mund të eksplorojnë skena nga perspektiva të reja, t'i rirregullojnë ato ose të aplikojnë efekte tre-dimensionale me SAM 3D. Qëllimi është që kushdo, pa njohuri paraprake të 3D ose vizionit kompjuterik, të jetë në gjendje ta bëjë këtë. të arrijnë rezultate të pranueshme brenda pak minutash dhe pa instaluar asgjë.

Modele, burime të hapura dhe vlerësim

Meta ka publikuar burime për të ndihmuar komunitetin të përparojë në nivelin më të lartë të teknologjisë. Për SAM 3, janë të disponueshme burimet e mëposhtme: peshat e modelit së bashku me një pikë referimi të fjalorit të hapur dhe një punim teknik që detajon arkitekturën dhe trajnimin. Kjo lehtëson riprodhueshmërinë dhe krahasimet e drejta.

Në frontin 3D, kompania ka publikuar pika kontrolli, kod inference dhe një suitë vlerësimi të gjeneratës së ardhshme. Dualiteti i SAM 3D Objects dhe SAM 3D Body lejon një mbulim gjithëpërfshirës. objekte të përgjithshme dhe trupi i njeriut me metrika të përshtatura për secilin rast, diçka thelbësore për të vlerësuar besnikërinë gjeometrike dhe vizuale.

Bashkëpunimi me artistët për të krijuar SAM 3D Artist Objects fut kritere estetike dhe të diversitetit në vlerësim, jo ​​vetëm ato teknike. Ky është çelësi për ta bërë rindërtimin 3D të dobishëm në mjedise krijuese dhe komercialeku cilësia e perceptuar nga njerëzit bën diferencën.

Segmentimi i tekstit: shembuj dhe përparësi

Me SAM 3, mund të shkruani "kapelë bejsbolli e kuqe" dhe sistemi do të identifikojë të gjitha përputhjet në një imazh ose në të gjithë një video. Kjo saktësi hap derën për rrjedhat e punës së redaktimit ku mjafton vetëm shkrimi i "kapelë bejsbolli e kuqe". fjali të shkurtra dhe të qarta për të ndarë elementët dhe për të aplikuar efekte ose transformime mbi to.

Pajtueshmëria me modelet gjuhësore multimodale lejon udhëzime më të pasura, duke përfshirë përjashtime ose kushte ("njerëz të ulur që nuk mbajnë kapelë të kuqe"). Ky fleksibilitet zvogëlon orët e punës manuale dhe zvogëlon gabimet e përzgjedhjes të cilat më parë korrigjoheshin me dorë.

Për ekipet që krijojnë përmbajtje në shkallë të gjerë, segmentimi i bazuar në tekst përshpejton rrjedhën e punës dhe e bën më të lehtë standardizimin e rezultateve. Në marketing, për shembull, qëndrueshmëria mund të ruhet duke aplikuar filtra në një familje produktesh, diçka që përmirëson kohën dhe kostot të prodhimit.

Redaktimi i mediave sociale dhe kreativiteti dixhital

Integrimi në Redaktime u sjell krijuesve të Instagram dhe Facebook veçori të përparuara të post-prodhimit. Një filtër që më parë kërkonte maska ​​komplekse tani mund të aplikohet me një komandë teksti dhe disa klikime, duke ruajtur njëkohësisht skajet dhe detajet e imëta i qëndrueshëm kornizë pas kornize.

Për pjesë të shkurtra, ku orari i publikimit ka rëndësi, ky automatizim është i shkëlqyer. Ndryshimi i sfondit të një klipi, nxjerrja në pah vetëm një person ose transformimi i një objekti specifik nuk kërkon më rrjedha pune manuale, dhe kjo demokratizon efektet që më parë ishin ekskluzivisht për profesionistët.

Ndërkohë, Vibes dhe meta.ai po zgjerojnë gamën e përvojave me redaktim dhe kreativitet të bazuar në gjuhë. Duke qenë në gjendje të përshkruajmë në detaje atë që duam, kërcimi nga ideja në rezultat shkurtohet, gjë që përkthehet në përsëritje më krijuese në më pak kohë.

Tregtia, shkenca dhe sporti: përtej argëtimit

“Shiko në Dhomë” në Facebook Marketplace ilustron vlerën praktike: të shohësh një llambë ose një mobilje në dhomën tënde të ndenjes para se ta blesh zvogëlon fitimet dhe ndërton besim. Pas kësaj qëndron një kanal që, duke filluar me imazhet, gjeneron një Model 3D për vizualizim kontekstuale.

Në shkencë dhe arsim, rindërtimi nga fotografi të thjeshta zvogëlon koston e krijimit të materialeve mësimore dhe simulatorëve realistë. Një model anatomik i gjeneruar nga inteligjenca artificiale mund të përdoret si një mjet mbështetës në klasa ose në... analiza biomekanikepërshpejtimin e përgatitjes së përmbajtjes.

Në mjekësinë sportive, kombinimi i analizës së përbërjes së trupit me rindërtimin e formës ofron mjete për të studiuar qëndrimet dhe lëvizjet pa pajisje të shtrenjta. Kjo hap mundësi për vlerësime më të shpeshta dhe monitorim në distancë.

Privatësia, etika dhe praktikat e mira

Fuqia e këtyre mjeteve kërkon përgjegjësi. Manipulimi i imazheve të njerëzve pa pëlqimin e tyre mund të çojë në probleme ligjore dhe etike. Këshillohet të shmanget rindërtimi i imazheve. fytyra të panjohuraMos ndani modele pa leje dhe mos ndryshoni skena të ndjeshme që mund të shkaktojnë konfuzion ose dëm.

Meta njofton kontrolle për të zbutur keqpërdorimin, por përgjegjësia përfundimtare i takon përdoruesit të teknologjisë. Këshillohet të verifikohet origjina e imazheve, të mbrohen të dhënat personale dhe vlerësoni kontekstin përpara publikimit të modeleve 3D që mund të ekspozojnë informacione private.

Në mjediset profesionale, vendosja e politikave të shqyrtimit dhe pëlqimit, si dhe etiketimi i qartë i përmbajtjes së gjeneruar nga inteligjenca artificiale, kontribuon në përdorimin e përgjegjshëm. Trajnimi i ekipit mbi këto tema ndihmon në parandaloni praktikat e këqija tashmë reagojnë shpejt ndaj incidenteve.

Si të konvertoni njerëzit dhe objektet në modele 3D me SAM 3D: Si të filloni

Nëse doni të eksperimentoni menjëherë, Segmenti Anything Playground është porta e duhur. Atje mund të ngarkoni një foto ose video, të shkruani atë që dëshironi të zgjidhni dhe të provoni opsionet e rindërtimit 3D brenda një ndërfaqeje të thjeshtë. Për profilet teknike, [disponohen opsione të mëtejshme]. pesha, pika kontrolli dhe kod që lehtësojnë testimin e personalizuar.

Studiuesit, zhvilluesit dhe artistët kanë një ekosistem që përfshin standarde, grupe të dhënash vlerësimi dhe dokumentacion. Qëllimi është të krijohet një bazë e përbashkët për matjen e progresit dhe përshpejtimin e adaptimit në sektorë të ndryshëmnga kreativiteti dixhital te robotika.

Gjëja më interesante është se ky hap nuk është i rezervuar për specialistët: kurba e të mësuarit po shkurtohet dhe veçoritë po arrijnë në aplikacionet e përditshme. Gjithçka sugjeron që redaktimi dhe 3D do të vazhdojnë të integrohen në rrjedhat e punës ku Gjuha natyrore është ndërfaqja.

Me SAM 3 dhe SAM 3D, Meta u sjell krijuesve dhe ekipeve të të gjitha madhësive segmentimin e tekstit dhe rindërtimin e një imazhi të vetëm. Midis Playground, integrimit në Redaktime, burimeve të hapura dhe aplikacioneve në tregti, arsim dhe sport, po krijohet një themel i fortë. mënyrë e re e punës me imazhe dhe vëllim që kombinon saktësinë, aksesueshmërinë dhe përgjegjësinë.