Hloov cov neeg thiab cov khoom rau hauv 3D nrog Meta's SAM 3 thiab SAM 3D

¿Yuav hloov cov neeg thiab cov khoom rau hauv 3D qauv nrog SAM 3D li cas? Artificial txawj ntse siv rau kev pom tau ua rau muaj kev cuam tshuam loj, thiab tam sim no, ntxiv rau kev txiav tawm cov khoom, nws muaj peev xwm ua tau. hloov ib daim duab rau hauv 3D qauv Npaj los tshawb los ntawm ntau lub ces kaum. Meta tau qhia txog tiam tshiab ntawm cov cuab yeej uas txuas txuas kho, kev nkag siab lub ntiaj teb pom, thiab kev tsim kho peb sab yam tsis tas yuav tsum muaj cov cuab yeej siv qib siab lossis kev paub.

Peb tab tom tham txog SAM 3 thiab SAM 3D, ob tus qauv uas tuaj txog los txhim kho kev tshawb nrhiav, taug qab, thiab segmentation, thiab coj cov 3D reconstruction ntawm cov khoom thiab tib neeg rau cov neeg tuaj saib dav. Lawv cov lus pom zoo suav nrog kev nkag siab cov lus qhia thiab cov teeb pom kev pom ib txhij, kom txiav, hloov pauv, thiab rov tsim kho cov ntsiab lus yooj yim li ntaus ntawv peb xav tau lossis ua ob peb clicks.

SAM 3 thiab SAM 3D yog dab tsi thiab lawv txawv li cas?

Meta's Segment Txhua yam tsev neeg nthuav dav nrog ob qhov ntxiv tshiab: SAM 3 thiab SAM 3D. Tus qub tsom rau kev txheeb xyuas, taug qab, thiab faib cov khoom hauv cov duab thiab cov yeeb yaj kiab nrog qhov tseeb tiam tom ntej, thaum tom kawg Reconstructs 3D geometry thiab zoo li los ntawm ib daim duabsuav nrog tib neeg, tsiaj txhu, lossis cov khoom siv niaj hnub.

Qhov kev ua haujlwm sib txawv yog qhov tseeb: SAM 3 ua haujlwm "kev nkag siab thiab sib cais" ntawm cov ntsiab lus pom, thiab SAM 3D siv qhov kev nkag siab ntawd los "tsim" ntim peb sab. Nrog rau qhov kev sib koom ua ke no, kev ua haujlwm uas yav tas los xav tau cov software nyuaj lossis cov cuab yeej tshwj xeeb yuav dhau los siv tau ntau dua thiab sai dua.

Tsis tas li ntawd, SAM 3 tsis txwv rau cov lus qhia pom kev yooj yim. Nws muab cov lus qhia segmentation uas muaj peev xwm txhais tau cov lus piav qhia meej heevPeb tsis tham txog "lub tsheb" lossis "pob", tab sis hais txog cov lus xws li "lub kaus mom liab baseball" txhawm rau txheeb xyuas cov ntsiab lus ntawm qhov xwm txheej, txawm tias thoob plaws hauv video.

Lub caij no, SAM 3D los nyob rau hauv ob qho kev sib txuas ntxiv: SAM 3D Objects, tsom rau khoom thiab scenesthiab SAM 3D Lub Cev, tau kawm los kwv yees tib neeg lub cev thiab lub cev. Qhov tshwj xeeb no tso cai rau nws los npog txhua yam ntawm cov khoom siv mus rau portraits thiab poses, qhib qhov rooj rau kev muaj tswv yim, kev lag luam, thiab kev siv txuj ci.

Yuav ua li cas lawv tswj segment thiab reconstruct los ntawm ib daim duab?

Qhov tseem ceeb yog nyob rau hauv ib qho kev cob qhia ntawm cov ntaub ntawv loj los tsim kev sib txuas ncaj qha ntawm cov lus thiab pixels. Tus qauv nkag siab cov lus qhia sau thiab pom cov cim (nias, dots, lossis thawv) ib txhij, yog li ntawd txhais cov lus thov mus rau hauv ib cheeb tsam ntawm ib daim duab lossis video ncej.

Qhov kev nkag siab ntawm cov lus no dhau mus dhau cov npe hauv chav kawm. SAM 3 tuaj yeem tuav cov lus qhia nyuaj, tsis suav nrog, thiab cov nuances, ua rau cov lus nug zoo li "cov neeg zaum uas tsis hnav lub kaus mom liab." Qhov no compatibility nrog cov lus qhia ntxaws Nws daws qhov kev txwv keeb kwm ntawm cov qauv yav dhau los, uas ua rau tsis meej pem cov ntsiab lus.

Tom qab ntawd SAM 3D los rau hauv kev ua si: pib nrog cov duab, nws tsim cov qauv peb sab uas tso cai rau koj saib cov khoom los ntawm lwm qhov kev xav, rov teeb tsa qhov chaw, lossis siv cov teebmeem 3D. Hauv kev xyaum, nws koom ua ke nrog cov segmentation yav dhau los kom cais qhov peb nyiam thiab, yog li ntawd, Rov tsim dua hauv 3D yam tsis muaj cov kauj ruam nruab nrab nyuaj.

Cov yam ntxwv tshiab piv rau cov tiam dhau los

SAM 1 thiab SAM 2 revolutionized segmentation los ntawm kev vam khom rau kev pom cues. Txawm li cas los xij, lawv tau tawm tsam thaum nug kom muab kev txhais lus ntev lossis cov lus qhia tsis zoo. SAM 3 rhuav tshem qhov kev thaiv ntawd los ntawm kev sib koom ua ke kev nkag siab multimodal uas txuas cov ntawv nyeem thiab pom kev ncaj qha.

Meta nrog rau kev nce qib nrog tus qauv tshiab ntawm qhib lus segmentationTsim los soj ntsuam cov ntawv qhia segmentation hauv qhov xwm txheej tiag tiag, thiab nrog kev tshaj tawm ntawm SAM 3 qhov hnyav. Ua li no, cov kws tshawb fawb thiab cov neeg tsim khoom tuaj yeem ntsuas nruj thiab sib piv cov txiaj ntsig ntawm txoj hauv kev.

Hauv nws qhov kev tsim kho tshiab, SAM 3D Objects txhim kho tau zoo raws li cov txheej txheem dhau los, raws li cov ntaub ntawv qhia los ntawm Meta, uas tseem tso tawm cov ntawv txheeb xyuas, cov lej inference, thiab cov txheej txheem ntsuas. Nrog rau SAM 3D Lub Cev, lub tuam txhab tso tawm SAM 3D Artist Objects, cov ntaub ntawv tshiab tsim nrog cov kws ua yeeb yam los ntsuas 3D zoo hauv ntau cov duab.

Cov ntawv thov tiag tiag hauv ntiaj teb thiab cov ntaub ntawv siv tam sim ntawd

Meta tau koom ua ke cov peev txheej no rau hauv nws cov khoom. Nyob rau hauv "Edits," nws cov cuab yeej yees duab rau Instagram thiab Facebook, segmentation siab heev twb tau siv los siv cov teebmeem rau cov yeeb yaj kiab. cov neeg tshwj xeeb lossis cov khoom tsis cuam tshuam rau tus so ntawm daim duab. Qhov no pab txhawb kev hloov pauv keeb kwm yav dhau, xaiv cov lim dej, lossis cov phiaj xwm hloov pauv yam tsis muaj kev cuam tshuam zoo.

Peb kuj tseem yuav pom cov yam ntxwv no hauv Vibes, hauv Meta AI app, thiab ntawm meta.ai platform, nrog cov kev hloov kho tshiab thiab muaj tswv yim zoo. Los ntawm kev tso cai cov lus qhia nyuaj, tus neeg siv tuaj yeem piav qhia qhov lawv xav hloov kho, thiab lub kaw lus yuav teb raws li. automates cov haujlwm tom qab tsim khoom uas siv los ua haujlwm.

Hauv kev lag luam, Facebook Marketplace's "Saib Hauv Chav" sawv tawm, pab cov neeg siv pom tias rooj tog lossis teeb yuav zoo li cas hauv lawv lub tsev ua tsaug rau cov qauv tsim 3D. Qhov kev ua haujlwm no txo ​​qhov tsis meej thiab txhim kho qhov kev txiav txim yuav khoom, lub ntsiab lus tseem ceeb thaum peb tsis tuaj yeem pom lub cev ntawm cov khoom.

Qhov cuam tshuam txuas mus rau robotics, science, kev kawm, thiab kev kho mob kis las. Kev tsim kho 3D los ntawm cov duab yooj yim tuaj yeem pub cov simulators, tsim cov qauv siv anatomical, thiab txhawb kev soj ntsuam cov cuab yeej uas yav tas los xav tau cov cuab yeej tshwj xeeb. Tag nrho cov no txhawb nqa kev ua haujlwm tshiab hauv kev tshawb fawb thiab kev cob qhia.

Segment Txhua Yam Chaw Ua Si: sim thiab tsim yam tsis muaj kev sib txhuam

Txhawm rau kom nkag mus rau kev ywj pheej, Meta tau pib Segment Anything PlaygroundIb lub vev xaib uas leej twg tuaj yeem xa cov duab lossis yeeb yaj kiab thiab sim nrog SAM 3 thiab SAM 3D. Nws interface yog reminiscent ntawm "magic wand" ntawm classic editors, nrog rau qhov zoo dua uas peb ua tau sau yam peb xav xaiv los yog kho nrog ob peb clicks.

Tsis tas li ntawd, Chaw Ua Si muaj cov qauv npaj siv. Cov no suav nrog cov kev xaiv tswv yim xws li pixelate ntsej muag lossis daim ntawv tso caithiab muaj tswv yim zoo dua li cov kev taug kev los yog tsom teeb. Qhov no ua rau nws ua tau kom ua tiav cov haujlwm tiv thaiv tus kheej lossis qhov muag pom hauv vib nas this.

Tshaj li segmentation, cov neeg siv tuaj yeem tshawb pom qhov tshwm sim los ntawm qhov kev xav tshiab, rov kho lawv, lossis siv cov teebmeem peb sab nrog SAM 3D. Lub hom phiaj yog rau leej twg, yam tsis muaj kev paub dhau los ntawm 3D lossis lub zeem muag hauv computer, kom ua tau li ntawd. ua kom tau txais txiaj ntsig hauv feeb thiab tsis muaj kev txhim kho dab tsi.

Cov qauv, qhib cov peev txheej thiab kev ntsuam xyuas

Meta tau tso tawm cov peev txheej los pab cov zej zog nce qib hauv lub xeev. Rau SAM 3, cov hauv qab no muaj: qauv hnyav nrog rau cov lus qhib cov qauv ntsuas thiab ib daim ntawv qhia txog kev tsim qauv thiab kev cob qhia. Qhov no pab txhawb kev rov tsim dua tshiab thiab kev sib piv ncaj ncees.

Ntawm 3D pem hauv ntej, lub tuam txhab tau tso tawm cov ntsiab lus tswj, inference code, thiab cov kev ntsuam xyuas tom ntej. Lub duality ntawm SAM 3D Objects thiab SAM 3D Lub Cev tso cai rau kev pabcuam dav dav. cov khoom siv dav dav thiab tib neeg lub cev nrog cov metrics hloov mus rau txhua rooj plaub, ib yam dab tsi tseem ceeb rau kev ntsuas geometric thiab kev pom kev ncaj ncees.

Kev koom tes nrog cov kws ua yeeb yam los tsim SAM 3D Artist Objects qhia txog kev zoo nkauj thiab ntau haiv neeg rau hauv kev ntsuam xyuas, tsis yog cov txuj ci xwb. Qhov no yog qhov tseem ceeb ntawm kev ua 3D rov tsim kho kom muaj txiaj ntsig hauv muaj tswv yim thiab kev lag luam ib puag ncigqhov twg qhov zoo pom los ntawm cov neeg ua rau qhov sib txawv.

Text segmentation: piv txwv thiab qhov zoo

Nrog SAM 3, koj tuaj yeem ntaus "lub kaus mom liab baseball" thiab lub kaw lus yuav txheeb xyuas txhua qhov sib tw hauv daim duab lossis thoob plaws hauv video. Qhov tseeb no qhib qhov rooj rau kev kho cov haujlwm ua haujlwm uas tsuas yog ntaus ntawv "liab baseball cap" txaus. cov lus luv thiab meej cais cov ntsiab lus thiab siv cov teebmeem lossis kev hloov pauv rau lawv.

Kev sib raug zoo nrog ntau hom lus qauv tso cai rau cov lus qhia ntau dua, suav nrog kev cais lossis cov xwm txheej ("cov neeg zaum uas tsis hnav lub kaus mom liab"). Qhov kev hloov pauv no txo ​​cov sij hawm ua haujlwm ntawm phau ntawv thiab txo qis xaiv yuam kev uas yav tas los kho los ntawm tes.

Rau cov pab pawg tsim cov ntsiab lus ntawm qhov ntsuas, cov ntawv sau ntu ua kom nrawm dua cov kav dej thiab ua rau nws yooj yim dua rau kev tsim cov txiaj ntsig. Hauv kev lag luam, piv txwv li, kev sib xws tuaj yeem tswj tau los ntawm kev siv cov lim dej rau tsev neeg cov khoom, ib yam dab tsi txhim kho lub sijhawm thiab cov nqi ntawm kev tsim khoom.

Social media editing thiab digital creativity

Kev koom ua ke hauv Edits coj cov kev tshaj tawm tshaj tawm rau Instagram thiab Facebook tus tsim. Lub lim dej uas yav tas los xav tau cov npog ntsej muag nyuaj tam sim no tuaj yeem siv nrog cov lus txib thiab ob peb nias, thaum tuav cov npoo thiab cov ntsiab lus zoo ruaj khov ncej los ntawm ncej.

Rau cov ntawv luv luv, qhov twg lub sijhawm tshaj tawm tseem ceeb, qhov kev siv tshuab hluav taws xob no yog kub. Hloov daim clip keeb kwm yav dhau los, qhia txog ib tus neeg nkaus xwb, lossis hloov cov khoom tshwj xeeb tsis tas yuav tsum tau ua haujlwm ntawm phau ntawv, thiab qhov ntawd democratizes cov teebmeem uas yav tas los tshwj xeeb rau cov kws tshaj lij.

Lub caij no, Vibes thiab meta.ai tab tom nthuav dav ntau yam kev paub nrog kev hais lus-tsav kev kho thiab muaj tswv yim. Los ntawm kev tuaj yeem piav qhia meej txog qhov peb xav tau, qhov leap ntawm lub tswv yim mus rau qhov tshwm sim yog luv luv, uas txhais mus rau hauv muaj tswv yim iterations nyob rau hauv lub sijhawm tsawg dua.

Kev lag luam, kev tshawb fawb thiab kev ua kis las: dhau kev lom zem

"Saib hauv Chav" ntawm Facebook Marketplace ua piv txwv tus nqi siv tau: pom lub teeb lossis cov rooj tog zaum hauv koj chav nyob ua ntej yuav txo qis rov qab thiab ua kom muaj kev ntseeg siab. Qab nws yog ib lub raj xa dej uas, pib nrog cov duab, tsim ib qho 3D qauv rau kev pom cov ntsiab lus.

Hauv kev tshawb fawb thiab kev kawm, rov tsim kho dua los ntawm cov duab yooj yim txo tus nqi ntawm kev tsim cov ntaub ntawv qhia thiab simulators tiag tiag. Tus qauv AI-tsim anatomical tuaj yeem siv los ua cov cuab yeej txhawb nqa hauv chav kawm lossis hauv ... biomechanical tsom xamceev cov ntsiab lus npaj.

Hauv kev kho mob kis las, kev sib xyaw ua ke ntawm lub cev kev tshuaj ntsuam xyuas nrog kev tsim kho tshiab muab cov cuab yeej rau kev kawm postures thiab txav tsis muaj cov cuab yeej kim. Qhov no opens possibilities rau kev ntsuam xyuas ntau zaus thiab saib xyuas tej thaj chaw deb.

Kev ceev ntiag tug, kev coj ncaj ncees thiab kev coj ua zoo

Lub zog ntawm cov cuab yeej no xav tau lub luag haujlwm. Manipulating cov duab ntawm tib neeg yam tsis tau txais kev tso cai tuaj yeem ua rau muaj teeb meem kev cai lij choj thiab kev coj ncaj ncees. Nws raug nquahu kom tsis txhob rov tsim cov duab. ntsej muag tsis paubTsis txhob qhia cov qauv yam tsis tau kev tso cai thiab tsis txhob hloov cov xwm txheej rhiab heev uas yuav ua rau muaj kev tsis sib haum xeeb lossis kev puas tsuaj.

Meta tshaj tawm kev tswj kom txo qis kev siv tsis raug, tab sis lub luag haujlwm kawg yog nyob nrog cov neeg siv thev naus laus zis. Nws raug nquahu kom txheeb xyuas qhov keeb kwm ntawm cov duab, tiv thaiv tus kheej cov ntaub ntawv, thiab soj ntsuam cov ntsiab lus ua ntej tshaj tawm cov qauv 3D uas yuav nthuav tawm cov ntaub ntawv ntiag tug.

Hauv kev teeb tsa kev tshaj lij, tsim kev tshuaj xyuas thiab kev pom zoo cov cai, thiab kom meej meej AI-tsim cov ntsiab lus, pab txhawb kev siv lub luag haujlwm. Kev cob qhia pab neeg ntawm cov ncauj lus no pab tau tiv thaiv kev ua phem twb teb sai sai rau qhov xwm txheej.

Yuav hloov cov neeg thiab khoom li cas rau hauv 3D qauv nrog SAM 3D: Yuav pib li cas

Yog tias koj xav sim tam sim ntawd, Txhua Yam Chaw Ua Si Segment yog lub rooj vag. Nyob ntawd koj tuaj yeem xa cov duab lossis yees duab, ntaus yam koj xav xaiv, thiab sim tawm 3D kev tsim kho tshiab hauv qhov yooj yim interface. Rau cov txheej txheem kev, [muaj kev xaiv ntxiv]. hnyav, checkpoints thiab code uas yooj yim rau kev kuaj xyuas.

Cov kws tshawb fawb, cov neeg tsim khoom, thiab cov kws ua yeeb yam muaj cov ecosystem uas suav nrog cov qauv ntsuas, ntsuas cov ntaub ntawv, thiab cov ntaub ntawv. Lub hom phiaj yog tsim kom muaj kev sib koom ua ke rau kev ntsuas kev nce qib thiab nrawm rau kev saws me nyuam hauv txawv sectorslos ntawm digital creativity mus rau robotics.

Qhov nthuav tshaj plaws yog tias qhov leap no tsis yog tshwj tseg rau cov kws tshaj lij: qhov kev kawm nkhaus luv luv, thiab cov yam ntxwv tau ncav cuag txhua hnub apps. Txhua yam qhia tias kev kho thiab 3D yuav txuas ntxiv mus rau hauv kev ua haujlwm nyob qhov twg lus ntuj yog lub interface.

Nrog SAM 3 thiab SAM 3D, Meta nqa cov ntawv segmentation thiab ib daim duab rov tsim dua tshiab rau cov tsim thiab pab pawg ntawm txhua qhov ntau thiab tsawg. Nyob nruab nrab ntawm Chaw Ua Si, kev sib koom ua ke hauv Edits, qhib cov peev txheej, thiab kev siv hauv kev lag luam, kev kawm, thiab kev ua kis las, lub hauv paus ruaj khov tau raug tsim. txoj kev tshiab ntawm kev ua haujlwm nrog cov duab thiab ntim uas ua ke nrog qhov tseeb, kev nkag tau yooj yim, thiab lub luag haujlwm.

Tsab xov xwm cuam tshuam:

Ua tiav phau ntawv qhia rau Luma Ray: tsim 3D scenes los ntawm cov duab

Cristian Garcia

Mob siab rau technology txij thaum nws tseem me. Kuv nyiam nyob rau hnub tim hauv lub sector thiab, qhov tseem ceeb tshaj, kev sib txuas lus. Tias yog vim li cas kuv tau mob siab rau kev sib txuas lus ntawm thev naus laus zis thiab video game websites tau ntau xyoo. Koj tuaj yeem pom kuv sau txog Android, Windows, MacOS, iOS, Nintendo lossis lwm yam ntsiab lus uas los rau hauv siab.