Meta tippreżenta SAM 3 u SAM 3D: ġenerazzjoni ġdida ta' AI viżwali

Meta ħadet pass ieħor fl-impenn tagħha lejn l-intelliġenza artifiċjali applikata għall-viżjoni bil-kompjuter mal- it-tnedija tas-SAM 3 u s-SAM 3D, żewġ mudelli li jespandu l-familja Segment Anything u li Għandhom l-għan li jibdlu l-mod kif naħdmu bir-ritratti u l-vidjowsIl-kumpanija, 'il bogħod milli tibqa' esperiment fil-laboratorju, trid li dawn l-għodod jintużaw kemm minn professjonisti kif ukoll minn utenti mingħajr sfond tekniku.

B'din il-ġenerazzjoni ġdida, Meta qed tiffoka fuq ittejjeb id-detezzjoni u s-segmentazzjoni tal-oġġetti u biex iġġib il- rikostruzzjoni tridimensjonali għal udjenza ferm usa'Mill-editjar tal-vidjow sal-viżwalizzazzjoni tal-prodott għall-kummerċ elettroniku fi Spanja u l-bqija tal-Ewropa, il-kumpanija timmaġina xenarju fejn Li sempliċement tiddeskrivi dak li trid tagħmel bil-kliem huwa biżżejjed biex l-AI tagħmel il-biċċa l-kbira tax-xogħol tqil..

X'joffri SAM 3 meta mqabbel mal-verżjonijiet preċedenti?

SAM 3 hija pożizzjonata bħala l-evoluzzjoni diretta tal-mudelli ta' segmentazzjoni li Meta ppreżentat fl-2023 u l-2024, magħrufa bħala SAM 1 u SAM 2. Dawk il-verżjonijiet bikrija ffokaw fuq l-identifikazzjoni ta' liema pixels kienu jappartjenu għal kull oġġett, prinċipalment bl-użu ta' indikazzjonijiet viżwali bħal tikek, kaxxi jew maskri, u fil-każ ta' SAM 2, billi ssegwi oġġetti matul vidjo kważi f'ħin reali.

L-iżvilupp ewlieni ġdid issa huwa li SAM 3 jifhem suġġerimenti ta' test rikki u preċiżimhux biss tikketti ġenerali. Filwaqt li qabel kienu jintużaw termini sempliċi bħal "karozza" jew "xarabank", il-mudell il-ġdid kapaċi jirrispondi għal deskrizzjonijiet ferm aktar speċifiċi, pereżempju "xarabank tal-iskola safra" jew "karozza ħamra pparkjata darbtejn".

Fil-prattika, dan ifisser li huwa biżżejjed li tikteb xi ħaġa bħal "kappell tal-baseball aħmar" sabiex is-sistema tkun tista' ssib u tissepara l-elementi kollha li jaqblu ma' dik id-deskrizzjoni f'immaġni jew vidjo. Din il-ħila li tirfina bil-kliem hija speċjalment utli fi kuntesti ta' editjar professjonali, reklamar jew analiżi tal-kontenut, fejn ħafna drabi jkollok tħares lejn dettalji speċifiċi ħafna.

Barra minn hekk, SAM 3 ġie ddisinjat biex jintegra ma' mudelli kbar ta' lingwa multimodaliDan jippermettilek tmur lil hinn minn frażijiet sempliċi u tuża struzzjonijiet kumplessi bħal: "Nies bilqiegħda imma mingħajr kappell aħmar" jew “persuni mexjin li qed iħarsu lejn il-kamera iżda mingħajr backpack.” Dan it-tip ta’ istruzzjoni jgħaqqad kundizzjonijiet u esklużjonijiet li sa ftit ilu kienu diffiċli biex jiġu tradotti f’għodda tal-viżjoni bil-kompjuter.

Il-prestazzjoni u l-iskala tal-mudell SAM 3

Meta riedet ukoll tenfasizza l-parti inqas viżibbli iżda kruċjali: l- skala tal-prestazzjoni teknika u tal-għarfien tal-mudell. Skont id-dejta tal-kumpanija, SAM 3 kapaċi jipproċessa immaġni waħda b'aktar minn mitt oġġett skoperti f'madwar 30 millisekonda bl-użu ta' GPU H200, veloċità qrib ħafna ta' dik meħtieġa għal flussi tax-xogħol impenjattivi.

Fil-każ tal-vidjow, id-ditta tassigura li s-sistema żżomm il-prestazzjoni kważi f'ħin reali meta taħdem ma' madwar ħames oġġetti simultanji, u dan jagħmilha vijabbli għat-traċċar u s-segmentazzjoni ta' kontenut li jiċċaqlaq, minn klipps qosra tal-midja soċjali għal proġetti ta' produzzjoni aktar ambizzjużi.

Biex tikseb dan l-imġiba, Meta bniet bażi ta' taħriġ b'aktar minn 4 miljun kunċett unikuBilli tgħaqqad annotaturi umani ma' mudelli tal-AI biex tgħin fit-tikkettar ta' volumi kbar ta' dejta, din it-taħlita ta' sorveljanza manwali u awtomatizzata għandha l-għan li tibbilanċja l-eżattezza u l-iskala—ċavetta biex tiżgura li l-mudell jirrispondi tajjeb għal inputs diversi f'kuntesti tas-suq Ewropej, Latino-Amerikani u oħrajn.

Il-kumpanija tinkwadra SAM 3 f'dak li ssejjaħ Kollezzjoni Segmentata ta' Kull ĦaġaFamilja ta' mudelli, parametri referenzjarji, u riżorsi mfassla biex jespandu l-fehim viżwali tal-AI. It-tnedija hija akkumpanjata minn parametru referenzjarju ġdid għas-segmentazzjoni tal-"vokabularju miftuħ", iffukat fuq il-kejl ta' kemm is-sistema tista' tifhem kważi kull kunċett espress f'lingwa naturali.

Integrazzjoni ma' Edits, Vibes, u għodod oħra tal-Meta

Lil hinn mill-komponent tekniku, Meta diġà bdiet integra SAM 3 fi prodotti speċifiċi li huma maħsuba għall-użu ta' kuljum. Waħda mill-ewwel destinazzjonijiet se tkun Edits, l-applikazzjoni tagħhom għall-ħolqien u l-editjar tal-vidjows, fejn l-idea hi li l-utent jista' jagħżel nies jew oġġetti speċifiċi b'deskrizzjoni sempliċi ta' test u japplika effetti, filtri jew bidliet biss għal dawk il-partijiet tal-filmati.

Mod ieħor kif tiġi integrata l-integrazzjoni se jinstab fi Vibes, fl-app Meta AI u l-pjattaforma meta.aiF'dan l-ambjent, is-segmentazzjoni tat-test se tiġi kkombinata ma' għodod ġenerattivi biex jinħolqu esperjenzi ġodda ta' editjar u kreattivi, bħal sfondi personalizzati, effetti ta' moviment, jew modifiki selettivi tar-ritratti ddisinjati għal netwerks soċjali li huma popolari ħafna fi Spanja u fil-bqija tal-Ewropa.

Il-proposta tal-kumpanija hija li dawn il-kapaċitajiet ma jkunux ristretti għal studji professjonali, iżda pjuttost jilħqu... kreaturi indipendenti, aġenziji żgħar, u utenti avvanzati li jaħdmu kuljum b'kontenut viżwali. Il-ħila li s-xeni jiġu segmentati billi jinkitbu deskrizzjonijiet f'lingwa naturali tnaqqas il-kurva tat-tagħlim meta mqabbla ma' għodod tradizzjonali bbażati fuq maskri u saffi manwali.

Fl-istess ħin, Meta żżomm approċċ miftuħ lejn żviluppaturi esterni, u tissuġġerixxi li applikazzjonijiet ta' partijiet terzi -minn għodod tal-editjar għal soluzzjonijiet għall-analitika tal-vidjow fil-bejgħ bl-imnut jew fis-sigurtà- jistgħu jiddependu fuq SAM 3 sakemm il-politiki tal-użu tal-kumpanija jiġu rispettati.

SAM 3D: Rikostruzzjoni tridimensjonali minn immaġni waħda

L-aħbar l-oħra l-kbira hija SAM 3Dsistema mfassla biex twettaq rikostruzzjonijiet tridimensjonali nibdew minn immaġni 2D. Minflok ma jkun hemm bżonn ta' diversi qabdiet minn angoli differenti, il-mudell għandu l-għan li jiġġenera rappreżentazzjoni 3D affidabbli minn ritratt wieħed, xi ħaġa partikolarment interessanti għal dawk li m'għandhomx tagħmir speċjalizzat għall-iskannjar jew flussi tax-xogħol.

SAM 3D jikkonsisti f'żewġ mudelli open-source b'funzjonijiet distinti: Oġġetti 3D SAMiffukat fuq ir-rikostruzzjoni ta' oġġetti u xeni, u Ġisem 3D tas-SAM, immirat lejn l-istima tal-forma u l-ġisem tal-bniedem. Din is-separazzjoni tippermetti li s-sistema tiġi adattata għal każijiet ta' użu differenti ħafna, minn katalgi ta' prodotti għal applikazzjonijiet tas-saħħa jew tal-isports.

Skont Meta, SAM 3D Objects timmarka Punt ta' riferiment ġdid tal-prestazzjoni fir-rikostruzzjoni 3D iggwidata mill-AIfaċilment qabeż il-metodi preċedenti f'metriċi ewlenin tal-kwalità. Biex tevalwa r-riżultati b'mod aktar rigoruż, il-kumpanija ħadmet ma' artisti biex toħloq SAM 3D Artist Objects, sett ta' dejta ddisinjat speċifikament biex jivvaluta l-fedeltà u d-dettall tar-rikostruzzjonijiet fuq varjetà wiesgħa ta' immaġini u oġġetti.

Dan l-avvanz jiftaħ il-bieb għal applikazzjonijiet prattiċi f'oqsma bħal robotika, xjenza, mediċina sportiva, jew kreattività diġitaliPereżempju, fir-robotika jista' jgħin lis-sistemi jifhmu aħjar il-volum tal-oġġetti li jinteraġixxu magħhom; fir-riċerka medika jew sportiva, jista' jgħin biex janalizza l-qagħda u l-moviment tal-ġisem; u fid-disinn kreattiv, iservi bħala bażi għall-ġenerazzjoni ta' mudelli 3D għall-animazzjoni, logħob tal-vidjo, jew esperjenzi immersivi.

Waħda mill-ewwel applikazzjonijiet kummerċjali li diġà huma viżibbli hija l-funzjoni "Veduta fil-Kamra" de Suq ta' Facebookli jippermettilek timmaġina kif biċċa għamara jew oġġett dekorattiv tidher f'kamra reali qabel ma tixtriha. Bis-SAM 3D, Meta tfittex li tipperfezzjona dawn it-tipi ta’ esperjenzi, rilevanti ħafna għall-kummerċ elettroniku Ewropew, fejn ir-ritorn ta' prodotti minħabba aspettattivi mhux sodisfatti jirrappreżenta spiża dejjem akbar.

Artiklu relatat:

Ikkonverti nies u oġġetti fi 3D bis-SAM 3 u s-SAM 3D ta' Meta

Segment Anything Playground: ambjent għall-esperimentazzjoni

Biex il-pubbliku jkun jista' jittestja dawn il-kapaċitajiet mingħajr ma jinstalla xejn, Meta ppermettiet li Segment Kull ħaġa PlaygroundHija pjattaforma tal-web li tippermettilek ittella' immaġnijiet jew vidjows u tesperimenta b'SAM 3 u SAM 3D direttament mill-browser tiegħek. L-idea hi li kull min hu kurjuż dwar l-AI viżwali jista' jesplora x'inhu possibbli mingħajr ebda għarfien tal-ipprogrammar.

Fil-każ ta' SAM 3, il-Playground jippermetti s-segmentazzjoni tal-oġġetti bl-użu ta' frażijiet qosra jew struzzjonijiet dettaljatiIt-taħlit ta' test u, jekk mixtieq, eżempji viżwali. Dan jissimplifika kompiti komuni bħall-għażla ta' nies, karozzi, annimali, jew elementi speċifiċi tax-xena u l-applikazzjoni ta' azzjonijiet speċifiċi għalihom, minn effetti estetiċi għal ċċajpar jew sostituzzjoni tal-isfond.

Meta taħdem ma' SAM 3D, il-pjattaforma tagħmilha possibbli Esplora xeni minn perspettivi ġoddairranġa mill-ġdid l-oġġetti, applika effetti tridimensjonali, jew iġġenera veduti alternattivi. Għal dawk li jaħdmu fid-disinn, ir-reklamar, jew il-kontenut 3D, dan joffri mod rapidu biex jipprototipaw ideat mingħajr ma jkollhom jużaw għodod tekniċi kumplessi mill-bidu nett.

Il-Playground jinkludi wkoll serje ta’ plantillas listas para usar Dawn il-karatteristiċi huma mmirati lejn kompiti speċifiċi ħafna. Jinkludu għażliet prattiċi bħall-pixelazzjoni ta' wċuħ jew pjanċi tar-reġistrazzjoni għal raġunijiet ta' privatezza, u effetti viżwali bħal traċċi ta' moviment, punti ewlenin selettivi, jew spotlights fuq żoni ta' interess fil-vidjow. Dawn it-tipi ta' funzjonijiet jistgħu jkunu adattati partikolarment għall-flussi tax-xogħol tal-midja diġitali u l-ħallieqa tal-kontenut fi Spanja, fejn il-produzzjoni ta' vidjows qosra u kontenut tal-midja soċjali hija kostanti.

Riżorsi miftuħa għall-iżviluppaturi u r-riċerkaturi

F'konformità mal-istrateġija li Meta segwiet f'rilaxxi oħra tal-AI, il-kumpanija ddeċidiet li tirrilaxxa porzjon sinifikanti tal- riżorsi tekniċi assoċjati ma' SAM 3 u SAM 3DGħall-ewwel wieħed, il-piżijiet tal-mudell, punt ta' riferiment ġdid iffukat fuq is-segmentazzjoni tal-vokabularju miftuħ, u dokument tekniku li jiddettalja l-iżvilupp tiegħu ġew ippubblikati.

Fil-każ ta' SAM 3D, dawn li ġejjin huma disponibbli: punti ta' kontroll tal-mudell, kodiċi ta' inferenza, u sett ta' dejta ta' evalwazzjoni il-ġenerazzjoni li jmiss. Dan is-sett ta' dejta jinkludi varjetà konsiderevoli ta' immaġni u oġġetti li għandhom l-għan li jmorru lil hinn mill-punti ta' referenza 3D tradizzjonali, u jipprovdu realiżmu u kumplessità akbar, xi ħaġa li tista' tkun utli ħafna għal gruppi ta' riċerka Ewropej li jaħdmu fil-viżjoni u l-grafika bil-kompjuter.

Meta ħabbret ukoll kollaborazzjonijiet ma' pjattaformi ta' annotazzjoni bħal Roboflow, bil-għan li tippermetti lill-iżviluppaturi u lill-kumpaniji Daħħal id-dejta tiegħek stess u aġġusta SAM 3 għal bżonnijiet speċifiċi. Dan jiftaħ il-bieb għal soluzzjonijiet speċifiċi għas-settur, mill-ispezzjoni industrijali għall-analiżi tat-traffiku urban, inklużi proġetti ta’ wirt kulturali fejn huwa importanti li l-elementi arkitettoniċi jew artistiċi jiġu segmentati b’mod preċiż.

Billi tagħżel approċċ relattivament miftuħ, il-kumpanija tfittex li tiżgura li l-ekosistema tal-iżviluppaturi, universitajiet u startups -inklużi dawk li joperaw fi Spanja u l-bqija tal-Ewropa- jistgħu jesperimentaw b'dawn it-teknoloġiji, jintegrawhom fil-prodotti tagħhom stess u, fl-aħħar mill-aħħar, jikkontribwixxu każijiet ta' użu li jmorru lil hinn minn dawk li Meta tista' tiżviluppa internament.

Bis-SAM 3 u s-SAM 3D, Meta għandha l-għan li tikkonsolida pjattaforma tal-IA viżwali aktar flessibbli u aċċessibblifejn is-segmentazzjoni ggwidata mit-test u r-rikostruzzjoni 3D minn immaġni waħda m'għadhomx kapaċitajiet riservati għal timijiet speċjalizzati ħafna. L-impatt potenzjali jestendi mill-editjar tal-vidjow ta' kuljum għal applikazzjonijiet avvanzati fix-xjenza, l-industrija, u l-kummerċ elettroniku, f'kuntest fejn il-kombinazzjoni tal-lingwa, il-viżjoni bil-kompjuter, u l-kreattività qed issir għodda standard tax-xogħol u mhux biss wegħda teknoloġika.

Alberto Navarro

Jien dilettant tat-teknoloġija li bidlet l-interessi "geek" tiegħu fi professjoni. Għamilt aktar minn 10 snin minn ħajti nuża teknoloġija avvanzata u nagħmel tbagħbis ma’ kull tip ta’ programmi għal kurżità pura. Issa speċjajtejt fit-teknoloġija tal-kompjuter u l-logħob tal-kompjuter. Dan għaliex ilni aktar minn 5 snin naħdem nikteb għal diversi websajts dwar teknoloġija u video games, noħloq artikli li jfittxu li jagħtuk l-informazzjoni li għandek bżonn b’lingwa li tinftiehem minn kulħadd.

Jekk għandek xi mistoqsijiet, l-għarfien tiegħi jvarja minn dak kollu relatat mas-sistema operattiva Windows kif ukoll Android għat-telefowns ċellulari. U l-impenn tiegħi huwa għalik, jien dejjem lest li nqatta' ftit minuti u ngħinek issolvi kwalunkwe mistoqsija li jista' jkollok f'din id-dinja tal-internet.