- SAM 3 yntrodusearret ôfbylding- en fideosegmentaasje begeliede troch tekst en fisuele foarbylden, mei in wurdskat fan miljoenen konsepten.
- Mei SAM 3D kinne jo objekten, sênes en minsklike lichems yn 3D rekonstruearje fanút ien ôfbylding, mei help fan iepen modellen.
- Modellen kinne sûnder technyske kennis hifke wurde yn Segment Anything Playground, mei praktyske en kreative sjabloanen.
- Meta publisearret gewichten, kontrôlepunten en nije benchmarks, sadat ûntwikkelders en ûndersikers yn Jeropa en de rest fan 'e wrâld dizze mooglikheden yn har projekten yntegrearje kinne.
Meta hat in nije stap set yn har ynset foar keunstmjittige yntelliginsje tapast op kompjûterfisy mei de lansearring fan SAM 3 en SAM 3D, twa modellen dy't de Segment Anything-famylje útwreidzje en dat Se wolle de manier wêrop wy mei foto's en fideo's wurkje feroarjeIt bedriuw wol dizze ark net allinnich brûke troch professionals mar ek troch brûkers sûnder technyske eftergrûn, mar it bliuwt in laboratoariumeksperimint.
Mei dizze nije generaasje rjochtet Meta him op ferbetterje objektdeteksje en segmentaasje en by it bringen fan de trijediminsjonale rekonstruksje foar in folle breder publykFan fideobewurking oant produktvisualisaasje foar e-commerce yn Spanje en de rest fan Jeropa, it bedriuw sjocht in senario foar wêryn Gewoan yn wurden beskriuwe wat jo dwaan wolle is genôch foar AI om it measte fan it swiere wurk te dwaan..
Wat biedt SAM 3 yn ferliking mei eardere ferzjes?
SAM 3 is posysjonearre as de direkte evolúsje fan 'e segmintaasjemodellen dy't Meta presintearre yn 2023 en 2024, bekend as SAM 1 en SAM 2. Dy iere ferzjes rjochten har op it identifisearjen fan hokker piksels ta elk objekt hearden, benammen mei help fan fisuele oanwizings lykas stippen, fakjes of maskers, en yn it gefal fan SAM 2, it folgjen fan objekten yn in fideo hast yn realtime.
De wichtichste nije ûntwikkeling is no dat SAM 3 begrypt rike en krekte tekstpromptsnet allinnich algemiene labels. Wylst earder ienfâldige termen lykas "auto" of "bus" brûkt waarden, is it nije model yn steat om te reagearjen op folle spesifikere beskriuwingen, bygelyks "giele skoalbus" of "reade auto dûbeld parkeard".
Yn 'e praktyk betsjut dit dat it genôch is om wat te skriuwen lykas "reade honkbalpet" sadat it systeem alle eleminten dy't by dy beskriuwing passe binnen in ôfbylding of fideo fine en skiede kin. Dizze mooglikheid om te ferfinen mei wurden is foaral nuttich yn profesjonele bewurkingskonteksten, reklame of ynhâldsanalyse, wêrby't jo faak nei hiel spesifike details sjen moatte.
Fierder is SAM 3 ûntworpen om te yntegrearjen mei grutte multimodale taalmodellenHjirmei kinne jo fierder gean as ienfâldige útdrukkings en komplekse ynstruksjes brûke lykas: "Minsken sitte del mar drage gjin reade pet" of "fuotgongers dy't nei de kamera sjogge, mar sûnder rêchsek." Dit soarte ynstruksje kombinearret betingsten en útslutingen dy't oant koartlyn lestich te oersetten wiene yn in kompjûterfisy-ark.
Prestaasjes en skaal fan it SAM 3-model
Meta woe ek it minder sichtbere mar krúsjale diel markearje: de technyske prestaasjes en kennisskaal fan it model. Neffens de gegevens fan it bedriuw is SAM 3 yn steat om in inkele ôfbylding mei mear as hûndert detektearre objekten te ferwurkjen yn sawat 30 millisekonden mei in H200 GPU, in snelheid dy't tige tichtby komt wat nedich is foar easken workflows.
Yn it gefal fan 'e fideo soarget it bedriuw derfoar dat it systeem de prestaasjes behâldt. praktysk yn realtime by it wurkjen mei sawat fiif simultane objekten, wêrtroch it mooglik is om bewegende ynhâld te folgjen en te segmentearjen, fan koarte sosjale mediaklips oant ambisjeuzer produksjeprojekten.
Om dit gedrach te berikken, hat Meta in trainingsbasis boud mei mear as 4 miljoen unike konseptenTroch minsklike annotators te kombinearjen mei AI-modellen om grutte hoemannichten gegevens te labeljen, is dizze miks fan hânmjittich en automatisearre tafersjoch rjochte op it finen fan in lykwicht tusken krektens en skaal - wichtich om te soargjen dat it model goed reagearret op ferskate ynputs yn Jeropeeske, Latynsk-Amerikaanske en oare merkkonteksten.
It bedriuw framet SAM 3 binnen wat it neamt Segment Anything KolleksjeIn famylje fan modellen, benchmarks en boarnen ûntworpen om it fisuele begryp fan AI út te wreidzjen. De lansearring wurdt begelaat troch in nije benchmark foar "iepen wurdskat"-segmentaasje, rjochte op it mjitten fan 'e mjitte wêryn't it systeem hast elk konsept útdrukt yn natuerlike taal kin begripe.
Yntegraasje mei Edits, Vibes en oare Meta-ark
Neist de technyske komponint is Meta al begûn mei yntegrearje SAM 3 yn spesifike produkten dy't bedoeld binne foar deistich gebrûk. Ien fan 'e earste bestimmingen sil Edits wêze, harren applikaasje foar it meitsjen en bewurkjen fan fideo's, wêrby't it idee is dat de brûker spesifike minsken of objekten selektearje kin mei in ienfâldige tekstbeskriuwing en effekten, filters of feroarings allinich op dy dielen fan it byldmateriaal tapasse kin.
In oare wei foar yntegraasje sil fûn wurde yn Vibes, binnen de Meta AI-app en it meta.ai-platfoarmYn dizze omjouwing sil tekstsegmentaasje kombinearre wurde mei generative ark om nije bewurkings- en kreative ûnderfiningen te meitsjen, lykas oanpaste eftergrûnen, bewegingseffekten of selektive fotomodifikaasjes ûntworpen foar sosjale netwurken dy't tige populêr binne yn Spanje en de rest fan Jeropa.
It foarstel fan it bedriuw is dat dizze mooglikheden net beheind wurde moatte ta profesjonele stúdzjes, mar leaver berikke... ûnôfhinklike skeppers, lytse buro's en avansearre brûkers dy't alle dagen wurkje mei fisuele ynhâld. De mooglikheid om sênes te segmentearjen troch beskriuwingen yn natuerlike taal te skriuwen ferminderet de learkurve yn ferliking mei tradisjonele ark basearre op manuele maskers en lagen.
Tagelyk hâldt Meta in iepen oanpak foar eksterne ûntwikkelders, en suggerearret dat tredde programma's -fan bewurkingsark oant oplossingen foar fideo-analyse yn 'e detailhannel of feiligens - kinne fertrouwe op SAM 3 salang't it gebrûksbelied fan it bedriuw wurdt respektearre.
SAM 3D: Trijediminsjonale rekonstruksje fan ien ôfbylding
It oare grutte nijs is SAM 3Din systeem ûntworpen om út te fieren trijediminsjonale rekonstruksjes begjinnend mei 2D-ôfbyldings. Ynstee fan meardere opnamen út ferskate hoeken nedich te hawwen, is it doel fan it model om in betroubere 3D-foarstelling te generearjen fanút ien foto, wat foaral ynteressant is foar dyjingen dy't gjin spesjalisearre scanapparatuer of workflows hawwe.
SAM 3D bestiet út twa iepen boarne modellen mei ûnderskate funksjes: SAM 3D-objektenrjochte op it rekonstruearjen fan objekten en sênes, en SAM 3D-lichem, rjochte op it skatten fan minsklike foarm en lichem. Dizze skieding makket it mooglik om it systeem oan te passen oan tige ferskillende gebrûksgefallen, fan produktkatalogussen oant sûnens- of sportapplikaasjes.
Neffens Meta markearret SAM 3D Objects in Nije prestaasjebenchmark yn AI-begeliede 3D-rekonstruksjeen oertreft eardere metoaden maklik yn wichtige kwaliteitsmetriken. Om de resultaten stranger te evaluearjen, hat it bedriuw mei artysten gearwurke om SAM 3D Artist Objects te meitsjen, in dataset spesifyk ûntworpen om de trouens en detail fan rekonstruksjes oer in breed ferskaat oan ôfbyldings en objekten te beoardieljen.
Dizze foarútgong iepenet de doar foar praktyske tapassingen op gebieten lykas robotika, wittenskip, sportgenêskunde, of digitale kreativiteitBygelyks, yn robotika kin it systemen helpe om it folume fan 'e objekten wêrmei't se ynteraksje hawwe better te begripen; yn medysk of sportûndersyk kin it helpe by it analysearjen fan lichemshâlding en beweging; en yn kreatyf ûntwerp tsjinnet it as basis foar it generearjen fan 3D-modellen foar animaasje, fideospultsjes of immersive ûnderfiningen.
Ien fan 'e earste kommersjele tapassingen dy't al sichtber binne, is de funksje "Utsicht yn keamer" de Facebook Marketplacewêrmei jo kinne visualisearje hoe't in meubelstuk of dekoratyf objekt der útsjen soe yn in echte keamer foardat jo it keapje. Mei SAM 3D, Meta siket nei it perfeksjonearjen fan dizze soarten ûnderfiningen, tige relevant foar Jeropeeske e-commerce, dêr't it werombringen fan produkten fanwegen net-foldwaande ferwachtingen in tanimmende kostenpost fertsjintwurdiget.
Segment Anything Playground: in omjouwing foar eksperimintearjen
Om it publyk dizze mooglikheden te testen sûnder wat te ynstallearjen, hat Meta de Segment Alles SpielterreinIt is in webplatfoarm wêrmei jo ôfbyldings of fideo's kinne uploade en direkt fanút jo browser kinne eksperimintearje mei SAM 3 en SAM 3D. It idee is dat elkenien dy't nijsgjirrich is nei fisuele AI kin ferkenne wat mooglik is sûnder programmearkennis.
Yn it gefal fan SAM 3 makket de Playground it mooglik om objekten te segmintearjen mei help fan koarte sinnen of detaillearre ynstruksjesTekst kombinearje en, as winske, fisuele foarbylden. Dit ferienfâldiget gewoane taken lykas it selektearjen fan minsken, auto's, bisten of spesifike eleminten fan 'e sêne en it tapassen fan spesifike aksjes derop, fan estetyske effekten oant wazigens of eftergrûnferfanging.
By it wurkjen mei SAM 3D makket it platfoarm it mooglik Ferkenne sênes út nije perspektivenobjekten opnij rangearje, trijediminsjonale effekten tapasse of alternative werjeften generearje. Foar dyjingen dy't wurkje yn ûntwerp, reklame of 3D-ynhâld, biedt it in rappe manier om ideeën te prototypen sûnder fan it begjin ôf komplekse technyske ark te brûken.
De Playground omfettet ek in searje fan ready-to-use sjabloanen Dizze funksjes binne rjochte op tige spesifike taken. Se omfetsje praktyske opsjes lykas it pikselearjen fan gesichten of kentekenplaten foar privacyredenen, en fisuele effekten lykas bewegingspaden, selektive markearrings of spotlights op gebieten fan belang yn 'e fideo. Dit soarte funksjes kinne benammen goed passe by de workflows fan digitale media- en ynhâldskeppers yn Spanje, dêr't de produksje fan koarte fideo's en sosjale media-ynhâld konstant is.
Iepen boarnen foar ûntwikkelders en ûndersikers
Yn oerienstimming mei de strategy dy't Meta folge hat yn oare AI-releases, hat it bedriuw besletten om in wichtich diel fan 'e frij te jaan technyske boarnen dy't ferbûn binne mei SAM 3 en SAM 3DFoar it earst binne de modelgewichten, in nije benchmark rjochte op iepen wurdskatsegmentaasje, en in technysk dokumint mei details oer de ûntwikkeling dêrfan iepenbier makke.
Yn it gefal fan SAM 3D binne it folgjende beskikber: modelkontrôlepunten, ynferinsjekoade en in evaluaasjedataset folgjende generaasje. Dizze dataset befettet in flinke ferskaat oan ôfbyldings en objekten dy't as doel hawwe om fierder te gean as tradisjonele 3D-referinsjepunten, en grutter realisme en kompleksiteit te bieden, eat dat tige nuttich kin wêze foar Jeropeeske ûndersyksgroepen dy't wurkje yn kompjûterfisy en grafiken.
Meta hat ek gearwurkingsferbannen oankundige mei annotaasjeplatfoarms lykas Roboflow, mei it doel om ûntwikkelders en bedriuwen yn steat te stellen ... Fier jo eigen gegevens yn en pas SAM 3 oan oan spesifike behoeften. Dit iepenet de doar foar sektorspesifike oplossingen, fan yndustriële ynspeksje oant stedske ferkearsanalyse, ynklusyf kultureel erfgoedprojekten wêr't it wichtich is om arsjitektoanyske of artistike eleminten sekuer te segmentearjen.
Troch te kiezen foar in relatyf iepen oanpak, wol it bedriuw derfoar soargje dat it ekosysteem fan ûntwikkelders, universiteiten en startups -ynklusyf dyjingen dy't operearje yn Spanje en de rest fan Jeropa - kinne eksperimintearje mei dizze technologyen, se yntegrearje yn har eigen produkten en úteinlik bydrage oan gebrûksfoarbylden dy't fierder geane as dyjingen dy't Meta yntern ûntwikkelje kin.
Mei SAM 3 en SAM 3D wol Meta in konsolidaasje fan in fleksibeler en tagonkliker fisueel AI-platfoarmdêr't tekst-begeliede segmintaasje en 3D-rekonstruksje fan ien ôfbylding net langer mooglikheden binne dy't reservearre binne foar heechspesjalisearre teams. De potinsjele ynfloed rint fan deistige fideobewurking oant avansearre tapassingen yn wittenskip, yndustry en e-commerce, yn in kontekst dêr't de kombinaasje fan taal, kompjûterfisy en kreativiteit in standert wurkmiddel wurdt en net allinich in technologyske belofte.
Ik bin in technology-entûsjast dy't syn "geek" ynteresses hat omset yn in berop. Ik haw mear as 10 jier fan myn libben bestege oan it brûken fan moderne technology en oan allerhande programma's út pure nijsgjirrigens te tinken. No haw ik my spesjalisearre yn kompjûtertechnology en fideospultsjes. Dit is om't ik mear dan 5 jier wurke oan skriuwen foar ferskate websiden oer technology en fideospultsjes, artikels oanmeitsje dy't besykje jo de ynformaasje te jaan dy't jo nedich binne yn in taal dy't elkenien begrypt.
As jo fragen hawwe, rint myn kennis fan alles relatearre oan it Windows-bestjoeringssysteem as Android foar mobile tillefoans. En myn ynset is foar jo, ik bin altyd ree om in pear minuten te besteegjen en jo te helpen mei it oplossen fan alle fragen dy't jo hawwe yn dizze ynternetwrâld.