Trosi pobl a gwrthrychau yn 3D gyda SAM 3 a SAM 3D Meta

¿Sut i drosi pobl a gwrthrychau yn fodelau 3D gyda SAM 3D? Mae deallusrwydd artiffisial sy'n cael ei gymhwyso i ddelweddau yn cael effaith fawr, ac yn awr, yn ogystal â thorri gwrthrychau allan yn fanwl gywir, mae'n bosibl trosi un ddelwedd yn fodel 3D Yn barod i archwilio o sawl ongl. Mae Meta wedi cyflwyno cenhedlaeth newydd o offer sy'n pontio golygu, dealltwriaeth o'r byd gweledol, ac ail-greu tri dimensiwn heb fod angen offer na gwybodaeth uwch.

Rydyn ni'n siarad am SAM 3 a SAM 3D, dau fodel sy'n cyrraedd i wella canfod, olrhain a segmentu, ac i ddod â'r Ail-greu 3D o wrthrychau a phobl i gynulleidfa eang. Mae eu cynnig yn cynnwys deall cyfarwyddiadau testun a signalau gweledol ar yr un pryd, fel bod torri, trawsnewid ac ail-greu elfennau mor hawdd â theipio'r hyn yr ydym ei eisiau neu wneud ychydig o gliciau.

Beth yw SAM 3 a SAM 3D a sut maen nhw'n wahanol?

Mae teulu Segment Anything Meta yn ehangu gyda dau ychwanegiad newydd: SAM 3 a SAM 3D. Mae'r cyntaf yn canolbwyntio ar adnabod, olrhain a segmentu gwrthrychau mewn lluniau a fideos gyda chywirdeb y genhedlaeth nesaf, tra bod yr olaf yn... Yn ail-greu geometreg ac ymddangosiad 3D o un ddelweddgan gynnwys pobl, anifeiliaid, neu gynhyrchion bob dydd.

Mae'r gwahaniaeth swyddogaethol yn glir: mae SAM 3 yn ymdrin â "dealltwriaeth a gwahanu" cynnwys gweledol, ac mae SAM 3D yn defnyddio'r ddealltwriaeth honno i "greu" cyfaint tri dimensiwn. Gyda'r paru hwn, mae llif gwaith a oedd gynt angen meddalwedd gymhleth neu sganwyr arbenigol yn dod yn... llawer mwy hygyrch a chyflymach.

Ar ben hynny, nid yw SAM 3 wedi'i gyfyngu i awgrymiadau gweledol sylfaenol. Mae'n darparu segmentu dan arweiniad iaith naturiol sy'n gallu dehongli disgrifiadau manwl iawnNid ydym bellach yn siarad am "gar" neu "bêl" yn unig, ond am ymadroddion fel "cap pêl fas coch" i leoli'r union elfennau hynny mewn golygfa, hyd yn oed drwy gydol fideo.

Yn y cyfamser, mae SAM 3D ar gael mewn dau flas cyflenwol: Gwrthrychau SAM 3D, sy'n canolbwyntio ar gwrthrychau a golygfeydda SAM 3D Body, wedi'i hyfforddi i amcangyfrif siâp a ffurf ddynol. Mae'r arbenigedd hwn yn caniatáu iddo gwmpasu popeth o nwyddau defnyddwyr i bortreadau ac ystumiau, gan agor y drws i gymwysiadau creadigol, masnachol a gwyddonol.

Sut maen nhw'n llwyddo i segmentu ac ail-greu o un ddelwedd?

Mae'r allwedd yn gorwedd mewn pensaernïaeth sydd wedi'i hyfforddi ar gyfrolau mawr o ddata i sefydlu cysylltiadau uniongyrchol rhwng geiriau a phicseli. Mae'r model yn deall cyfarwyddiadau ysgrifenedig a signalau gweledol (cliciau, dotiau, neu flychau) ar yr un pryd, fel bod cyfieithu cais i feysydd penodol o lun neu ffrâm fideo.

Mae'r ddealltwriaeth hon o'r iaith yn mynd y tu hwnt i enwau dosbarth traddodiadol. Gall SAM 3 ymdrin â chyfarwyddiadau cymhleth, eithriadau, a manylion bach, gan alluogi ymholiadau fel "pobl yn eistedd i lawr nad ydynt yn gwisgo het goch." Mae'r cydnawsedd hwn â awgrymiadau testun manwl Mae'n datrys cyfyngiad hanesyddol modelau blaenorol, a oedd yn tueddu i ddrysu cysyniadau manwl.

Yna daw SAM 3D i rym: gan ddechrau gyda delwedd, mae'n cynhyrchu model tri dimensiwn sy'n eich galluogi i weld y gwrthrych o safbwyntiau eraill, aildrefnu'r olygfa, neu gymhwyso effeithiau 3D. Yn ymarferol, mae'n integreiddio â'r segmentu blaenorol i ynysu'r hyn sydd o ddiddordeb i ni ac, felly, Ailadeiladu mewn 3D heb gamau canolradd cymhleth.

Nodweddion newydd o'i gymharu â chenedlaethau blaenorol

Chwyldroodd SAM 1 a SAM 2 segmentu drwy ddibynnu'n helaeth ar giwiau gweledol. Fodd bynnag, roeddent yn ei chael hi'n anodd pan ofynnwyd iddynt ddarparu dehongliadau hir neu gyfarwyddiadau iaith naturiol manwl. Mae SAM 3 yn torri trwy'r rhwystr hwnnw drwy ymgorffori dealltwriaeth amlfoddol sy'n cysylltu testun a gweledigaeth yn fwy uniongyrchol.

Mae Meta yn cyd-fynd â'r cynnydd gyda meincnod newydd o segmentu geirfa agoredWedi'i gynllunio i werthuso segmentu dan arweiniad testun mewn senarios byd go iawn, a chyda chyhoeddi pwysau SAM 3. Yn y modd hwn, gall ymchwilwyr a datblygwyr fesur a chymharu canlyniadau rhwng dulliau yn drylwyr.

Yn ei ailgynllunio, mae SAM 3D Objects yn gwella'n sylweddol ar ddulliau blaenorol, yn ôl data a rennir gan Meta, sydd hefyd yn rhyddhau pwyntiau gwirio, cod casglu, a set werthuso. Ochr yn ochr â SAM 3D Body, mae'r cwmni'n rhyddhau Gwrthrychau Artist 3D SAM, set ddata newydd a grëwyd gydag artistiaid i asesu ansawdd 3D mewn amrywiaeth eang o ddelweddau.

Cymwysiadau byd go iawn ac achosion defnydd uniongyrchol

Mae Meta yn integreiddio'r galluoedd hyn i'w gynhyrchion. Yn “Edits,” ei offeryn fideo ar gyfer Instagram a Facebook, mae segmentu uwch eisoes yn cael ei ddefnyddio i gymhwyso effeithiau i fideos. pobl neu wrthrychau penodol heb effeithio ar weddill y ddelwedd. Mae hyn yn hwyluso newidiadau cefndir, hidlwyr dethol, neu drawsffurfiadau wedi'u targedu heb aberthu ansawdd.

Byddwn ni hefyd yn gweld y nodweddion hyn yn Vibes, o fewn ap Meta AI, ac ar blatfform meta.ai, gyda phrofiadau golygu a chreadigol newydd. Drwy ganiatáu cyfarwyddiadau cymhleth, gall y defnyddiwr ddisgrifio'r hyn maen nhw am ei addasu, a bydd y system yn ymateb yn unol â hynny. yn awtomeiddio tasgau ôl-gynhyrchu roedd hynny'n arfer bod yn llafurus.

Ym myd masnach, mae "Gweld yn yr Ystafell" Facebook Marketplace yn sefyll allan, gan helpu defnyddwyr i ddelweddu sut olwg fyddai ar ddodrefn neu lampau yn eu cartref diolch i fodelau 3D a gynhyrchir yn awtomatig. Mae'r swyddogaeth hon yn lleihau ansicrwydd a yn gwella'r penderfyniad prynu, pwynt allweddol pan na allwn weld y cynnyrch yn gorfforol.

Mae'r effaith yn ymestyn i roboteg, gwyddoniaeth, addysg a meddygaeth chwaraeon. Gall ail-greu 3D o ffotograffau syml fwydo efelychwyr, creu modelau cyfeirio anatomegol, a chefnogi offer dadansoddi a oedd yn gofyn am offer arbenigol o'r blaen. Mae hyn i gyd yn hyrwyddo llifau gwaith newydd mewn ymchwil a hyfforddiant.

Maes Chwarae Segment Anything: profi a chreu heb ffrithiant

Er mwyn democrateiddio mynediad, mae Meta wedi lansio Segment Unrhyw beth Maes ChwaraeGwefan lle gall unrhyw un uwchlwytho delweddau neu fideos ac arbrofi gyda SAM 3 a SAM 3D. Mae ei rhyngwyneb yn atgoffa rhywun o "ffon hud" golygyddion clasurol, gyda'r fantais y gallwn ysgrifennu'r hyn rydyn ni eisiau ei ddewis neu fireinio gydag ychydig o gliciau.

Yn ogystal, mae'r Maes Chwarae yn cynnig templedi parod i'w defnyddio. Mae'r rhain yn cynnwys opsiynau ymarferol fel wynebau picselaidd neu blatiau trwyddedac effeithiau mwy creadigol fel llwybrau symudiad neu oleuadau sbot. Mae hyn yn ei gwneud hi'n bosibl cyflawni tasgau diogelu hunaniaeth neu effeithiau trawiadol mewn eiliadau.

Y tu hwnt i segmentu, gall defnyddwyr archwilio golygfeydd o safbwyntiau newydd, eu haildrefnu, neu gymhwyso effeithiau tri dimensiwn gyda SAM 3D. Y nod yw i unrhyw un, heb wybodaeth flaenorol am 3D neu weledigaeth gyfrifiadurol, allu gwneud hynny. cyflawni canlyniadau derbyniol mewn munudau a heb osod unrhyw beth.

Modelau, adnoddau agored a gwerthuso

Mae Meta wedi rhyddhau adnoddau i helpu'r gymuned i ddatblygu'r dechnoleg ddiweddaraf. Ar gyfer SAM 3, mae'r canlynol ar gael: pwysau model ynghyd â meincnod geirfa agored a phapur technegol sy'n manylu ar y bensaernïaeth a'r hyfforddiant. Mae hyn yn hwyluso atgynhyrchadwyedd a chymhariaethau teg.

Ar yr ochr 3D, mae'r cwmni wedi rhyddhau pwyntiau rheoli, cod casglu, a chyfres asesu cenhedlaeth nesaf. Mae deuoldeb SAM 3D Objects a SAM 3D Body yn caniatáu sylw cynhwysfawr. gwrthrychau cyffredinol a'r corff dynol gyda metrigau wedi'u haddasu i bob achos, rhywbeth hanfodol i asesu ffyddlondeb geometrig a gweledol.

Mae cydweithio ag artistiaid i greu Gwrthrychau Artist 3D SAM yn cyflwyno meini prawf esthetig ac amrywiaeth i'r gwerthusiad, nid rhai technegol yn unig. Mae hyn yn allweddol i wneud ail-greu 3D yn ddefnyddiol yn amgylcheddau creadigol a masnachollle mae'r ansawdd a ganfyddir gan bobl yn gwneud y gwahaniaeth.

Segmentu testun: enghreifftiau a manteision

Gyda SAM 3, gallwch deipio "cap pêl fas coch" a bydd y system yn nodi pob gêm mewn delwedd neu drwy gydol fideo. Mae'r cywirdeb hwn yn agor y drws i olygu llif gwaith lle mae teipio "cap pêl fas coch" yn unig yn ddigon. brawddegau byr ac eglur i wahanu elfennau a chymhwyso effeithiau neu drawsnewidiadau iddynt.

Mae cydnawsedd â modelau iaith amlfoddol yn caniatáu cyfarwyddiadau mwy cyfoethog, gan gynnwys eithriadau neu amodau (“pobl yn eistedd i lawr nad ydynt yn gwisgo cap coch”). Mae'r hyblygrwydd hwn yn lleihau oriau gwaith â llaw ac yn lleihau gwallau dethol a oedd wedi cael eu cywiro â llaw o'r blaen.

I dimau sy'n creu cynnwys ar raddfa fawr, mae segmentu sy'n cael ei yrru gan destun yn cyflymu piblinellau ac yn ei gwneud hi'n haws safoni canlyniadau. Mewn marchnata, er enghraifft, gellir cynnal cysondeb trwy gymhwyso hidlwyr i deulu cynnyrch, rhywbeth sydd... yn gwella amser a chostau o gynhyrchu.

Golygu cyfryngau cymdeithasol a chreadigrwydd digidol

Mae'r integreiddio yn Edits yn dod â nodweddion ôl-gynhyrchu uwch i grewyr Instagram a Facebook. Gellir defnyddio hidlydd a oedd yn gofyn am fasgiau cymhleth o'r blaen gyda gorchymyn testun ac ychydig o gliciau, gan gynnal yr ymylon a'r manylion mân sefydlog ffrâm wrth ffrâm.

Ar gyfer darnau byr, lle mae'r amserlen gyhoeddi yn bwysig, mae'r awtomeiddio hwn yn werth chweil. Nid yw newid cefndir clip, tynnu sylw at un person yn unig, neu drawsnewid gwrthrych penodol bellach yn gofyn am lif gwaith â llaw, a hynny yn democrateiddio effeithiau a oedd gynt yn gyfyngedig i weithwyr proffesiynol.

Yn y cyfamser, mae Vibes a meta.ai yn ehangu'r ystod o brofiadau gyda golygu a chreadigrwydd dan arweiniad iaith. Drwy allu disgrifio'n fanwl yr hyn yr ydym ei eisiau, mae'r naid o'r syniad i'r canlyniad yn cael ei byrhau, sy'n cyfieithu i mwy o fersiynau creadigol mewn llai o amser.

Masnach, gwyddoniaeth a chwaraeon: y tu hwnt i adloniant

Mae “Gweld yn yr Ystafell” ar Facebook Marketplace yn enghraifft o’r gwerth ymarferol: mae gweld lamp neu ddarn o ddodrefn yn eich ystafell fyw cyn prynu yn lleihau enillion ac yn meithrin ymddiriedaeth. Y tu ôl iddo mae piblinell sydd, gan ddechrau gyda delweddau, yn cynhyrchu Model 3D ar gyfer delweddu cyd-destunol.

Mewn gwyddoniaeth ac addysg, mae ail-greu o ffotograffau syml yn lleihau cost creu deunyddiau addysgu ac efelychwyr realistig. Gellir defnyddio model anatomegol a gynhyrchir gan AI fel offeryn cymorth mewn ystafelloedd dosbarth neu yn... dadansoddiad biofecanyddolcyflymu paratoi cynnwys.

Mewn meddygaeth chwaraeon, mae cyfuno dadansoddi cyfansoddiad y corff ag ail-greu ffurf yn darparu offer ar gyfer astudio ystumiau a symudiadau heb offer drud. Mae hyn yn agor posibiliadau ar gyfer gwerthusiadau amlach a monitro o bell.

Preifatrwydd, moeseg ac arferion da

Mae pŵer yr offer hyn yn mynnu cyfrifoldeb. Gall trin delweddau o bobl heb eu caniatâd arwain at broblemau cyfreithiol a moesegol. Mae'n ddoeth osgoi ail-greu delweddau. wynebau anghyfarwyddPeidiwch â rhannu modelau heb ganiatâd a pheidiwch â newid golygfeydd sensitif a allai achosi dryswch neu niwed.

Mae Meta yn cyhoeddi rheolaethau i liniaru camddefnydd, ond mae'r cyfrifoldeb yn y pen draw yn nwylo defnyddiwr y dechnoleg. Mae'n ddoeth gwirio tarddiad delweddau, amddiffyn data personol, a asesu'r cyd-destun cyn cyhoeddi modelau 3D a allai ddatgelu gwybodaeth breifat.

Mewn lleoliadau proffesiynol, mae sefydlu polisïau adolygu a chydsynio, a labelu cynnwys a gynhyrchir gan AI yn glir, yn cyfrannu at ddefnydd cyfrifol. Mae hyfforddi'r tîm ar y pynciau hyn yn helpu i atal arferion gwael eisoes yn ymateb yn gyflym i ddigwyddiadau.

Sut i drosi pobl a gwrthrychau yn fodelau 3D gyda SAM 3D: Sut i ddechrau arni

Os ydych chi eisiau arbrofi ar unwaith, y Segment Maes Chwarae Anything yw'r porth. Yno gallwch chi uwchlwytho llun neu fideo, teipio'r hyn rydych chi eisiau ei ddewis, a rhoi cynnig ar opsiynau ail-greu 3D o fewn rhyngwyneb syml. Ar gyfer proffiliau technegol, [mae opsiynau pellach ar gael]. pwysau, pwyntiau gwirio a chod sy'n hwyluso profion wedi'u teilwra.

Mae gan ymchwilwyr, datblygwyr ac artistiaid ecosystem sy'n cynnwys meincnodau, setiau data gwerthuso a dogfennaeth. Y nod yw sefydlu tir cyffredin ar gyfer mesur cynnydd a chyflymu mabwysiadu yn sectorau gwahanolo greadigrwydd digidol i roboteg.

Y peth mwyaf diddorol yw nad yw'r naid hon wedi'i chadw ar gyfer arbenigwyr: mae'r gromlin ddysgu yn byrhau, ac mae'r nodweddion yn cyrraedd apiau bob dydd. Mae popeth yn awgrymu y bydd golygu a 3D yn parhau i gael eu hintegreiddio i lifau gwaith lle iaith naturiol yw'r rhyngwyneb.

Gyda SAM 3 a SAM 3D, mae Meta yn dod â segmentu testun ac ail-greu un ddelwedd i grewyr a thimau o bob maint. Rhwng y Maes Chwarae, integreiddio mewn Golygiadau, adnoddau agored, a chymwysiadau mewn masnach, addysg a chwaraeon, mae sylfaen gadarn yn cael ei ffurfio. ffordd newydd o weithio gyda delweddau a chyfaint sy'n cyfuno cywirdeb, hygyrchedd a chyfrifoldeb.