Pretvorite ljudi in predmete v 3D z Meta SAM 3 in SAM 3D

¿Kako pretvoriti ljudi in predmete v 3D modele s SAM 3D? Umetna inteligenca, uporabljena v vizualnih elementih, ima velik vpliv in zdaj je poleg natančnega izrezovanja predmetov mogoče tudi pretvoriti eno samo sliko v 3D-model Pripravljeni na raziskovanje z več zornih kotov. Meta je predstavila novo generacijo orodij, ki združujejo urejanje, vizualno razumevanje sveta in tridimenzionalno rekonstrukcijo brez potrebe po napredni opremi ali znanju.

Govorimo o SAM 3 in SAM 3D, dveh modelih, ki prihajata za izboljšanje zaznavanja, sledenja in segmentacije ter za približevanje 3D rekonstrukcija predmetov in ljudi širokemu občinstvu. Njihov predlog vključuje sočasno razumevanje besedilnih navodil in vizualnih signalov, tako da je rezanje, preoblikovanje in rekonstrukcija elementov tako preprosta kot tipkanje želenega besedila ali nekaj klikov.

Kaj sta SAM 3 in SAM 3D in kakšna je razlika?

Družina programov Segment Anything podjetja Meta se širi z dvema novima dodatkoma: SAM 3 in SAM 3D. Prvi se osredotoča na prepoznavanje, sledenje in segmentacijo objektov na fotografijah in videoposnetkih z natančnostjo naslednje generacije, drugi pa na... Rekonstruira 3D geometrijo in videz iz ene same slikevključno z ljudmi, živalmi ali vsakdanjimi izdelki.

Funkcionalna razlika je očitna: SAM 3 obravnava »razumevanje in ločevanje« vizualne vsebine, SAM 3D pa to razumevanje uporablja za »ustvarjanje« tridimenzionalnega volumna. S to združitvijo postane delovni tok, ki je prej zahteval kompleksno programsko opremo ali specializirane skenerje, ... veliko bolj dostopen in hitrejši.

Poleg tega SAM 3 ni omejen na osnovne vizualne pozive. Zagotavlja segmentacijo, vodeno z naravnim jezikom, ki jo je mogoče interpretirati zelo natančni opisiNe govorimo več samo o "avtomobilu" ali "žogi", temveč o besednih zvezah, kot je "rdeča baseball kapa", da bi natančno določili te elemente v prizoru, celo v celotnem videoposnetku.

Medtem je SAM 3D na voljo v dveh dopolnjujočih se različicah: SAM 3D Objects, osredotočen na predmeti in prizoriin SAM 3D Body, usposobljen za ocenjevanje človeške oblike in telesa. Ta specializacija mu omogoča, da pokriva vse od potrošniškega blaga do portretov in poz, kar odpira vrata ustvarjalnim, komercialnim in znanstvenim aplikacijam.

Kako jim uspe segmentirati in rekonstruirati iz ene same slike?

Ključ je v arhitekturi, usposobljeni na velikih količinah podatkov, da se vzpostavijo neposredne povezave med besedami in slikovnimi elementi. Model razume pisna navodila in vizualne signale (klike, pike ali okvirčke) hkrati, tako da prevesti zahtevo na določena področja fotografije ali video posnetka.

To razumevanje jezika presega tradicionalna imena razredov. SAM 3 lahko obravnava kompleksna navodila, izključitve in nianse, kar omogoča poizvedbe, kot je »ljudje, ki sedijo in ne nosijo rdeče kape«. Ta združljivost z podrobna besedilna navodila Rešuje zgodovinsko omejitev prejšnjih modelov, ki so ponavadi zamenjevali podrobnosti konceptov.

Nato pride v poštev SAM 3D: začne s sliko in ustvari tridimenzionalni model, ki omogoča ogled objekta z drugih perspektiv, reorganizacijo scene ali uporabo 3D-učinkov. V praksi se integrira s prejšnjo segmentacijo, da izolira tisto, kar nas zanima, in s tem ... Obnova v 3D brez zapletenih vmesnih korakov.

Nove funkcije v primerjavi s prejšnjimi generacijami

SAM 1 in SAM 2 sta revolucionarno spremenila segmentacijo, saj sta se močno zanašala na vizualne namige. Vendar sta imela težave, ko sta bila zaprošena za dolge interpretacije ali niansirana navodila v naravnem jeziku. SAM 3 to oviro premaga z vključitvijo multimodalno razumevanje ki bolj neposredno povezuje besedilo in vid.

Meta spremlja napredek z novim merilom segmentacija odprtega besediščaZasnovan za ocenjevanje segmentacije z vodenjem po besedilu v resničnih scenarijih in z objavo uteži SAM 3. Na ta način lahko raziskovalci in razvijalci natančno merijo in primerjajo rezultate med metodami.

SAM 3D Objects v svoji prenovi bistveno izboljšuje prejšnje pristope, kažejo podatki, ki jih je delila Meta, ki je prav tako izdala kontrolne točke, kodo za sklepanje in nabor za vrednotenje. Poleg SAM 3D Body podjetje izdaja tudi SAM 3D umetniški predmeti, nov nabor podatkov, ustvarjen skupaj z umetniki za oceno 3D-kakovosti v najrazličnejših slikah.

Aplikacije v resničnem svetu in primeri takojšnje uporabe

Meta te zmogljivosti integrira v svoje izdelke. V »Urejanjih«, njihovem orodju za videoposnetke za Instagram in Facebook, se napredna segmentacija že uporablja za dodajanje učinkov videoposnetkom. določene osebe ali predmete ne da bi to vplivalo na preostali del slike. To omogoča spremembe ozadja, selektivne filtre ali ciljne transformacije brez žrtvovanja kakovosti.

Te funkcije bomo videli tudi v Vibesu, v aplikaciji Meta AI in na platformi meta.ai, z novimi izkušnjami urejanja in ustvarjanja. Z omogočanjem kompleksnih navodil lahko uporabnik opiše, kaj želi spremeniti, sistem pa se bo ustrezno odzval. avtomatizira naloge postprodukcije kar je bilo včasih naporno.

V trgovini izstopa funkcija »View in Room« na Facebook Marketplaceu, ki uporabnikom pomaga vizualizirati, kako bi pohištvo ali svetilke izgledale v njihovem domu, zahvaljujoč samodejno ustvarjenim 3D-modelom. Ta funkcionalnost zmanjšuje negotovost in izboljša nakupno odločitev, ključna točka, ko izdelka fizično ne moremo videti.

Vpliv sega na robotiko, znanost, izobraževanje in športno medicino. 3D-rekonstrukcija iz preprostih fotografij lahko napaja simulatorje, ustvarja anatomske referenčne modele in podpira orodja za analizo, ki so prej zahtevala specializirano opremo. Vse to spodbuja novi delovni tokovi pri raziskavah in usposabljanju.

Igrišče Segment Anything: preizkusite in ustvarite brez trenja

Za demokratizacijo dostopa je Meta lansirala Segment Anything PlaygroundSpletna stran, kjer lahko kdorkoli naloži slike ali videoposnetke in eksperimentira s programoma SAM 3 in SAM 3D. Njen vmesnik spominja na "čarobno palico" klasičnih urejevalnikov, s prednostjo, da lahko napišemo, kaj želimo izbrati ali pa jih natančneje določite z nekaj kliki.

Poleg tega Playground ponuja predloge, ki so že pripravljene za uporabo. Te vključujejo praktične možnosti, kot so pikselizirani obrazi ali registrske tablicein bolj ustvarjalne učinke, kot so sledi gibanja ali žarometi. To omogoča doseganje nalog zaščite identitete ali privlačnih učinkov v nekaj sekundah.

Poleg segmentacije lahko uporabniki s SAM 3D raziskujejo prizore iz novih perspektiv, jih prerazporejajo ali uporabljajo tridimenzionalne učinke. Cilj je, da bi to lahko storil vsak, ki nima predhodnega znanja o 3D ali računalniškem vidu. doseči sprejemljive rezultate v nekaj minutah in brez namestitve.

Modeli, odprti viri in vrednotenje

Meta je objavila vire, ki bodo skupnosti pomagali pri napredku najsodobnejše tehnologije. Za SAM 3 so na voljo naslednji viri: uteži modelov skupaj z odprtim besediščem in tehničnim člankom, ki podrobno opisuje arhitekturo in učenje. To omogoča ponovljivost in poštene primerjave.

Na področju 3D je podjetje izdalo kontrolne točke, kodo za sklepanje in paket za ocenjevanje naslednje generacije. Dvojnost SAM 3D Objects in SAM 3D Body omogoča celovito pokritost. splošni predmeti in človeško telo z metrikami, prilagojenimi vsakemu primeru, kar je bistveno za oceno geometrijske in vizualne natančnosti.

Sodelovanje z umetniki pri ustvarjanju 3D umetniških objektov SAM v ocenjevanje uvaja estetska merila in merila raznolikosti, ne le tehničnih. To je ključnega pomena za uporabnost 3D-rekonstrukcije v ustvarjalna in komercialna okoljakjer je pomembna kakovost, ki jo zaznavajo ljudje.

Segmentacija besedila: primeri in prednosti

S SAM 3 lahko vnesete »rdeča baseball kapa« in sistem bo prepoznal vsa ujemanja na sliki ali v videoposnetku. Ta natančnost odpira vrata delovnim procesom urejanja, kjer je dovolj že vnos »rdeča baseball kapa«. kratki in jasni stavki ločiti elemente in nanje uporabiti učinke ali transformacije.

Združljivost z multimodalnimi jezikovnimi modeli omogoča bogatejša navodila, vključno z izključitvami ali pogoji (»ljudje, ki sedijo in ne nosijo rdeče kape«). Ta prilagodljivost skrajša število ročnih delovnih ur in zmanjša napake pri izbiri ki so bili prej ročno popravljeni.

Za ekipe, ki ustvarjajo vsebino v velikem obsegu, segmentacija, ki jo poganja besedilo, pospeši procese in olajša standardizacijo rezultatov. V trženju je na primer mogoče ohranjati doslednost z uporabo filtrov za družino izdelkov, kar je nekaj, kar izboljša čas in stroške proizvodnje.

Urejanje družbenih medijev in digitalna ustvarjalnost

Integracija v Uredniške funkcije prinaša napredne funkcije postprodukcije ustvarjalcem na Instagramu in Facebooku. Filter, ki je prej zahteval kompleksne maske, je zdaj mogoče uporabiti z besedilnim ukazom in nekaj kliki, hkrati pa ohraniti robovi in ​​drobne podrobnosti stabilen okvir za okvirjem.

Za kratke prispevke, kjer je pomemben urnik objave, je ta avtomatizacija zlata. Spreminjanje ozadja posnetka, označevanje samo ene osebe ali preoblikovanje določenega predmeta ne zahteva več ročnih delovnih procesov in to demokratizira učinke ki so bile prej na voljo izključno profesionalcem.

Medtem Vibes in meta.ai širita paleto izkušenj z jezikovno vodenim urejanjem in ustvarjalnostjo. Ker lahko podrobno opišemo, kaj želimo, se skrajša preskok od ideje do rezultata, kar se odraža v bolj ustvarjalne iteracije v krajšem času.

Trgovina, znanost in šport: onkraj zabave

»Ogled v sobi« na Facebook Marketplaceu ponazarja praktično vrednost: ogled svetilke ali kosa pohištva v dnevni sobi pred nakupom zmanjšuje donose in gradi zaupanje. Za tem stoji cevovod, ki se začne s slikami in ustvari 3D-model za vizualizacijo kontekstualno.

V znanosti in izobraževanju rekonstrukcija iz preprostih fotografij zmanjšuje stroške ustvarjanja učnih gradiv in realističnih simulatorjev. Anatomski model, ustvarjen z umetno inteligenco, se lahko uporablja kot podporno orodje v učilnicah ali v ... biomehanska analizapospešitev priprave vsebine.

V športni medicini kombinacija analize telesne sestave z rekonstrukcijo oblike zagotavlja orodja za preučevanje položajev in gibov brez drage opreme. To odpira možnosti za pogostejše ocene in daljinsko spremljanje.

Zasebnost, etika in dobre prakse

Moč teh orodij zahteva odgovornost. Manipuliranje slik ljudi brez njihovega soglasja lahko povzroči pravne in etične težave. Priporočljivo se je izogibati rekonstrukciji slik. neznani obraziNe delite modelov brez dovoljenja in ne spreminjajte občutljivih prizorov, ki bi lahko povzročili zmedo ali škodo.

Meta napoveduje nadzor za zmanjšanje zlorabe, vendar je končna odgovornost na uporabniku tehnologije. Priporočljivo je preveriti izvor slik, zaščititi osebne podatke in oceniti kontekst pred objavo 3D-modelov, ki bi lahko razkrili zasebne podatke.

V profesionalnem okolju vzpostavitev politik pregledovanja in soglasja ter jasno označevanje vsebine, ustvarjene z umetno inteligenco, prispeva k odgovorni uporabi. Usposabljanje ekipe o teh temah pomaga preprečiti slabe prakse že hitro odzivajo na incidente.

Kako pretvoriti ljudi in predmete v 3D-modele s SAM 3D: Kako začeti

Če želite takoj eksperimentirati, je segment Anything Playground prava izbira. Tam lahko naložite fotografijo ali videoposnetek, vnesete želeni izraz in preizkusite možnosti 3D-rekonstrukcije v preprostem vmesniku. Za tehnične profile [so na voljo dodatne možnosti]. uteži, kontrolne točke in koda ki omogočajo prilagojeno testiranje.

Raziskovalci, razvijalci in umetniki imajo ekosistem, ki vključuje primerjalne teste, nabore podatkov za vrednotenje in dokumentacijo. Cilj je vzpostaviti skupno podlago za merjenje napredka in pospešitev sprejemanja v različnih sektorjihod digitalne ustvarjalnosti do robotike.

Najbolj zanimivo je, da ta preskok ni rezerviran samo za strokovnjake: krivulja učenja se krajša, funkcije pa dosegajo tudi vsakodnevne aplikacije. Vse kaže, da bosta urejanje in 3D še naprej integrirana v delovne procese, kjer naravni jezik je vmesnik.

S SAM 3 in SAM 3D Meta ustvarjalcem in ekipam vseh velikosti prinaša segmentacijo besedila in rekonstrukcijo posameznih slik. Med Playgroundom, integracijo v Edits, odprtimi viri in aplikacijami v trgovini, izobraževanju in športu se gradijo trdni temelji. nov način dela s slikami in glasnostjo ki združuje natančnost, dostopnost in odgovornost.