Gipresentar sa Meta ang SAM 3 ug SAM 3D: usa ka bag-ong henerasyon sa visual AI

Ang Meta mihimo og laing lakang sa pasalig niini artificial intelligence nga gigamit sa computer vision uban sa mga paglusad sa SAM 3 ug SAM 3D, duha ka modelo nga nagpalapad sa Segment Anything nga pamilya ug kana Tumong nila nga usbon ang paagi sa among pagtrabaho sa mga litrato ug videoHalayo sa pagpabilin nga eksperimento sa laboratoryo, gusto sa kompanya nga kini nga mga himan magamit sa mga propesyonal ug tiggamit nga wala’y teknikal nga background.

Uban niining bag-ong henerasyon, ang Meta nagpunting sa pagpauswag sa pagkakita ug pagbahin sa butang ug sa pagdala sa tulo-ka-dimensional nga pagtukod pag-usab ngadto sa mas lapad nga mamiminawGikan sa pag-edit sa video hangtod sa paghanduraw sa produkto alang sa e-commerce sa Spain ug sa ubang bahin sa Europe, ang kompanya naghanduraw sa usa ka senaryo diin Ang paghulagway lang kung unsa ang gusto nimong buhaton sa mga pulong igo na alang sa AI nga buhaton ang kadaghanan sa bug-at nga pag-alsa..

Unsa ang gitanyag sa SAM 3 kumpara sa nangaging mga bersyon?

Ang SAM 3 gipahimutang isip direktang ebolusyon sa mga modelo sa pagbahinbahin nga gipresentar sa Meta sa 2023 ug 2024, nailhan nga SAM 1 ug SAM 2. Kadtong unang mga bersyon nagpunting sa pag-ila kung unsang mga pixel ang iya sa matag butang, nag-una gamit ang mga visual cues sama sa mga tuldok, mga kahon o mga maskara, ug sa kaso sa SAM 2, nagsunod sa mga butang sa tibuok video halos sa tinuod nga panahon.

Ang yawe nga bag-ong kalamboan karon mao nga ang SAM 3 nakasabut adunahan ug tukma nga text promptdili lang mga general label. Samtang sa wala pa gigamit ang yano nga mga termino sama sa "sakyanan" o "bus", ang bag-ong modelo adunay katakus sa pagtubag sa labi ka labi ka piho nga mga paghubit, pananglitan "yellow school bus" o "pula nga awto nga naka-double-park".

Sa praktis, kini nagpasabot nga igo na ang pagsulat sa usa ka butang nga sama “pula nga baseball cap” aron ang sistema makapangita ug makabulag sa tanang elemento nga mohaum sa maong deskripsyon sulod sa usa ka hulagway o video. Kini nga abilidad sa pagpino sa mga pulong labi ka mapuslanon sa propesyonal nga konteksto sa pag-edit, pag-anunsyo o pagtuki sa sulud, diin kanunay nimo kinahanglan nga tan-awon ang labi ka piho nga mga detalye.

Dugang pa, ang SAM 3 gidisenyo aron mahiusa sa dako nga multimodal nga mga modelo sa pinulonganGitugotan ka niini nga molapas sa yano nga mga hugpong sa mga pulong ug mogamit komplikado nga mga panudlo sama sa: "Mga tawo nga naglingkod apan wala magsul-ob og pula nga kalo" o "mga pedestrian nga nagtan-aw sa camera apan walay backpack." Kini nga matang sa instruksyon naghiusa sa mga kondisyon ug mga eksklusyon nga hangtod karon lisud nga hubaron sa usa ka himan sa panan-aw sa kompyuter.

Performance ug sukod sa SAM 3 nga modelo

Gusto usab sa Meta nga ipasiugda ang dili kaayo makita apan hinungdanon nga bahin: ang teknikal nga pasundayag ug sukod sa kahibalo sa modelo. Sumala sa datos sa kompanya, ang SAM 3 makahimo sa pagproseso sa usa ka imahe nga adunay labaw sa usa ka gatos nga nakit-an nga mga butang sa mga 30 millisecond gamit ang usa ka H200 GPU, usa ka tulin nga hapit sa kung unsa ang gikinahanglan alang sa pagpangayo sa mga workflows.

Sa kaso sa video, gipasalig sa kompanya nga ang sistema nagpadayon sa pasundayag halos sa tinuod nga panahon sa dihang nagtrabaho uban sa lima ka dungan nga mga butang, nga naghimo niini nga mahimo alang sa pagsubay ug pagbahin sa nagalihok nga sulod, gikan sa mugbo nga social media clips ngadto sa mas ambisyoso nga mga proyekto sa produksyon.

Aron makab-ot kini nga kinaiya, ang Meta nagtukod og base sa pagbansay nga adunay labaw pa sa 4 milyon nga talagsaon nga mga konseptoAng paghiusa sa mga annotator sa tawo sa mga modelo sa AI aron matabangan ang pagmarka sa daghang mga volume sa datos, kini nga pagsagol sa manwal ug awtomatiko nga pagdumala nagtumong sa pagbalanse sa katukma ug sukdanan — yawe sa pagsiguro nga ang modelo motubag nga maayo sa lainlaing mga input sa European, Latin American, ug uban pang mga konteksto sa merkado.

Ang kompanya nag-frame sa SAM 3 sa kung unsa ang gitawag niini I-segment ang Bisan Unsa nga KoleksyonUsa ka pamilya sa mga modelo, benchmark, ug mga kapanguhaan nga gidisenyo aron mapalapad ang panan-aw sa AI. Ang paglusad giubanan sa usa ka bag-ong benchmark alang sa "bukas nga bokabularyo" nga pagbahin, nga nakapunting sa pagsukod sa gidak-on nga masabtan sa sistema ang hapit bisan unsang konsepto nga gipahayag sa natural nga sinultian.

Paghiusa sa mga Pag-edit, Vibes, ug uban pang mga himan sa Meta

Labaw sa teknikal nga bahin, ang Meta nagsugod na i-integrate ang SAM 3 ngadto sa piho nga mga produkto nga gituyo alang sa adlaw-adlaw nga paggamit. Usa sa mga unang destinasyon mao ang Edits, ang ilang aplikasyon sa paghimo ug pag-edit sa video, diin ang ideya mao nga ang tiggamit makapili ug piho nga mga tawo o mga butang nga adunay usa ka yano nga paghulagway sa teksto ug magamit ang mga epekto, pagsala o pagbag-o lamang sa mga bahin sa footage.

Ang laing paagi sa paghiusa makita sa Vibes, sulod sa Meta AI app ug sa meta.ai nga platapormaNiini nga palibot, ang pagbahin sa teksto ikombinar sa mga galamiton sa generative aron makamugna og bag-ong mga kasinatian sa pag-edit ug paglalang, sama sa custom nga mga background, mga epekto sa paglihok, o pinili nga mga pagbag-o sa litrato nga gidisenyo alang sa mga social network nga popular kaayo sa Spain ug sa ubang bahin sa Europe.

Ang sugyot sa kompanya mao nga kini nga mga kapabilidad dili limitado sa mga propesyonal nga pagtuon, apan maabot ... independente nga mga tiglalang, gagmay nga mga ahensya, ug mga advanced nga tiggamit nga nagtrabaho adlaw-adlaw nga adunay biswal nga sulud. Ang abilidad sa pagbahin sa mga talan-awon pinaagi sa pagsulat sa mga deskripsyon sa natural nga lengguwahe makapamenos sa kurba sa pagkat-on kon itandi sa tradisyonal nga mga himan base sa manwal nga mga maskara ug mga lut-od.

Sa samang higayon, ang Meta nagpadayon sa usa ka bukas nga pamaagi ngadto sa mga eksternal nga developers, nga nagsugyot niana ikatulo nga mga aplikasyon -gikan sa mga himan sa pag-edit ngadto sa mga solusyon alang sa video analytics sa retail o seguridad- makasalig sa SAM 3 basta ang mga polisiya sa paggamit sa kompanya gitahud.

SAM 3D: Three-dimensional nga pagtukod pag-usab gikan sa usa ka imahe

Ang laing dakong balita mao SAM 3Dusa ka sistema nga gidisenyo sa pagbuhat tulo-ka-dimensional nga pagtukod pag-usab sugod sa 2D nga mga hulagway. Imbis nga magkinahanglan og daghang mga pagkuha gikan sa lain-laing mga anggulo, ang modelo nagtumong sa pagmugna og usa ka kasaligan nga representasyon sa 3D gikan sa usa ka litrato, usa ka butang nga labi ka makapaikag alang sa mga wala’y espesyal nga kagamitan sa pag-scan o mga daloy sa trabaho.

Ang SAM 3D naglangkob sa duha ka open-source nga mga modelo nga adunay lahi nga mga gimbuhaton: SAM 3D nga mga butangnaka-focus sa pagtukod pag-usab sa mga butang ug mga talan-awon, ug SAM 3D nga Lawas, gitumong ngadto sa pagbanabana sa porma ug lawas sa tawo. Kini nga pagbulag nagtugot sa sistema nga ipahiangay sa lahi kaayo nga mga kaso sa paggamit, gikan sa mga katalogo sa produkto hangtod sa mga aplikasyon sa kahimsog o sports.

Sumala sa Meta, ang SAM 3D Objects nagtimaan sa a Bag-ong performance benchmark sa AI-guided 3D reconstructiondali nga milabaw sa nangaging mga pamaagi sa panguna nga mga sukatan sa kalidad. Aron mas estriktong pagtimbang-timbang sa mga resulta, ang kompanya nakigtambayayong sa mga artista sa paghimo sa SAM 3D Artist Objects, usa ka dataset nga espesipikong gidesinyo aron masusi ang pagkamatinud-anon ug detalye sa mga pagtukod pag-usab sa lain-laing mga hulagway ug mga butang.

Kini nga pag-uswag nagbukas sa pultahan sa praktikal nga mga aplikasyon sa mga lugar sama sa robotics, science, sports medicine, o digital creativityPananglitan, sa robotics makatabang kini sa mga sistema nga mas masabtan ang gidaghanon sa mga butang nga ilang gi-interact; sa medikal o sports research, kini makatabang sa pag-analisar sa postura ug paglihok sa lawas; ug sa mamugnaong disenyo, nagsilbi kini nga basehan sa pagmugna og 3D nga mga modelo para sa animation, video game, o immersive nga mga kasinatian.

Usa sa una nga komersyal nga aplikasyon nga makita na mao ang function “Tan-awa sa Kwarto” de Facebook Marketplacenga nagtugot kanimo sa paghanduraw kung unsa ang hitsura sa usa ka piraso sa muwebles o butang nga pangdekorasyon sa usa ka tinuud nga kwarto sa wala pa kini paliton. Uban sa SAM 3D, Ang Meta nagtinguha sa paghingpit niini nga mga matang sa mga kasinatian.

Giangkon nga artikulo:

I-convert ang mga tawo ug mga butang ngadto sa 3D gamit ang SAM 3 ug SAM 3D sa Meta

I-segment ang Bisan Unsang Palaruan: usa ka palibot alang sa pag-eksperimento

Aron tugotan ang publiko nga sulayan kini nga mga kapabilidad nga wala’y pag-install bisan unsa, gipagana sa Meta ang I-segment ang Bisan Unsang DulaananKini usa ka web platform nga nagtugot kanimo sa pag-upload og mga imahe o video ug mag-eksperimento sa SAM 3 ug SAM 3D direkta gikan sa imong browser. Ang ideya mao nga bisan kinsa nga kuryuso bahin sa visual AI makasusi kung unsa ang posible nga wala’y kahibalo sa programming.

Sa kaso sa SAM 3, ang Playground nagtugot sa pagbahin sa mga butang gamit mugbo nga hugpong sa mga pulong o detalyado nga mga instruksyonPaghiusa sa teksto ug, kung gusto, biswal nga mga pananglitan. Gipasayon ​​niini ang kasagarang mga buluhaton sama sa pagpili sa mga tawo, mga sakyanan, mga mananap, o mga espesipikong elemento sa talan-awon ug pagpadapat sa mga espesipikong mga aksyon ngadto kanila, gikan sa mga aesthetic nga mga epekto ngadto sa blurring o pag-ilis sa background.

Kung nagtrabaho kauban ang SAM 3D, gipaposible sa plataporma Pag-usisa sa mga talan-awon gikan sa bag-ong mga panglantawpaghan-ay pag-usab sa mga butang, paggamit og tulo-ka-dimensyon nga mga epekto, o pagmugna og alternatibong mga panglantaw. Alang sa mga nagtrabaho sa disenyo, advertising, o 3D nga sulud, nagtanyag kini usa ka dali nga paagi sa pag-prototype sa mga ideya nga dili kinahanglan nga mogamit mga komplikado nga teknikal nga himan gikan sa sinugdanan.

Ang Playground naglakip usab sa usa ka serye sa andam na nga mga template Kini nga mga bahin gitumong ngadto sa piho kaayo nga mga buluhaton. Naglakip kini sa praktikal nga mga kapilian sama sa pixelating nga mga nawong o mga plaka sa lisensya alang sa mga rason sa pagkapribado, ug mga visual effect sama sa mga motion trails, pinili nga mga highlight, o mga spotlight sa mga dapit nga interesado sa video. Kini nga mga matang sa mga gimbuhaton mahimong usa ka labi ka maayo nga angay alang sa mga daloy sa trabaho sa digital media ug mga taghimo sa sulud sa Espanya, diin ang paghimo sa mubu nga mga video ug sulud sa social media kanunay.

Bukas nga mga kapanguhaan alang sa mga developer ug tigdukiduki

Nahiuyon sa estratehiya nga gisunod sa Meta sa ubang mga pagpagawas sa AI, ang kompanya nakahukom nga buhian ang usa ka hinungdanon nga bahin sa teknikal nga mga kapanguhaan nga may kalabutan sa SAM 3 ug SAM 3DAlang sa una, ang mga gibug-aton sa modelo, usa ka bag-ong benchmark nga naka-focus sa bukas nga pagbahin sa bokabularyo, ug usa ka teknikal nga dokumento nga nagdetalye sa pag-uswag niini gipahibalo sa publiko.

Sa kaso sa SAM 3D, ang mosunod anaa: modelo nga checkpoints, inference code, ug usa ka evaluation dataset sunod nga henerasyon. Kini nga dataset naglakip sa usa ka igo nga matang sa mga hulagway ug mga butang nga nagtumong sa labaw pa sa tradisyonal nga 3D reference point, nga naghatag og mas dako nga realismo ug pagkakomplikado, usa ka butang nga mahimong mapuslanon kaayo alang sa European research groups nga nagtrabaho sa computer vision ug graphics.

Gipahibalo usab sa Meta ang mga kolaborasyon sa mga platform sa anotasyon sama sa Roboflow, nga adunay katuyoan nga mahatagan ang mga developer ug kompanya sa Pagsulod sa imong kaugalingon nga datos ug i-adjust ang SAM 3 sa piho nga mga panginahanglan. Nagbukas kini sa pultahan sa mga solusyon nga espesipiko sa sektor, gikan sa inspeksyon sa industriya hangtod sa pag-analisar sa trapiko sa kasyudaran, lakip ang mga proyekto sa kultural nga panulondon diin hinungdanon ang tukma nga pagbahin sa mga elemento sa arkitektura o arte.

Pinaagi sa pagpili alang sa usa ka medyo bukas nga pamaagi, ang kompanya nagtinguha sa pagsiguro nga ang developer nga ekosistema, unibersidad ug mga startup -lakip ang mga nag-operate sa Spain ug ang ubang bahin sa Europe- mahimong mag-eksperimento sa kini nga mga teknolohiya, i-integrate kini sa ilang kaugalingon nga mga produkto ug, sa katapusan, makatampo sa mga kaso sa paggamit nga labaw pa sa mga mahimo nga mapalambo sa Meta sa sulod.

Uban sa SAM 3 ug SAM 3D, ang Meta nagtumong sa pagkonsolida sa usa ka mas flexible ug accessible nga visual AI platformdiin ang text-guided segmentation ug 3D reconstruction gikan sa usa ka larawan dili na mga kapabilidad nga gitagana alang sa mga highly specialized teams. Ang potensyal nga epekto gikan sa adlaw-adlaw nga pag-edit sa video hangtod sa mga advanced nga aplikasyon sa siyensya, industriya, ug e-commerce, sa usa ka konteksto diin ang kombinasyon sa sinultian, panan-aw sa kompyuter, ug pagkamamugnaon nahimong usa ka sukaranan nga himan sa pagtrabaho ug dili usa ka saad sa teknolohiya.

Alberto navarro

Usa ako ka mahiligon sa teknolohiya nga naghimo sa iyang "geek" nga interes nga usa ka propesyon. Gigugol nako ang sobra sa 10 ka tuig sa akong kinabuhi gamit ang labing bag-ong teknolohiya ug pag-usisa sa tanan nga mga klase sa mga programa tungod sa putli nga pagkamausisaon. Karon espesyalista na ako sa teknolohiya sa kompyuter ug mga dula sa video. Kini tungod kay sa sobra sa 5 ka tuig nagsulat ako alang sa lainlaing mga website sa teknolohiya ug mga dula sa video, nagmugna og mga artikulo nga nagtinguha sa paghatag kanimo sa impormasyon nga imong gikinahanglan sa usa ka pinulongan nga masabtan sa tanan.

Kung naa kay mga pangutana, ang akong kahibalo gikan sa tanan nga may kalabotan sa operating system sa Windows ingon man sa Android para sa mga mobile phone. Ug ang akong pasalig kanimo, andam ako kanunay nga mogahin og pipila ka minuto ug tabangan ka nga masulbad ang bisan unsang mga pangutana nga mahimo nimo sa niining kalibutan sa internet.