Muunna ihmiset ja esineet 3D-muotoon Metan SAM 3:lla ja SAM 3D:llä

¿Kuinka muuntaa ihmisiä ja esineitä 3D-malleiksi SAM 3D:llä? Visuaalisuuteen sovellettu tekoäly tekee suuren vaikutuksen, ja nyt se on mahdollista objektien tarkan leikkaamisen lisäksi myös muunna yksi kuva 3D-malliksi Valmiina tutkimaan useista näkökulmista. Meta on esitellyt uuden sukupolven työkaluja, jotka yhdistävät editoinnin, visuaalisen maailman ymmärtämisen ja kolmiulotteisen rekonstruoinnin ilman edistyneitä laitteita tai tietoa.

Puhumme SAM 3:sta ja SAM 3D:stä, kahdesta mallista, jotka parantavat havaitsemista, seurantaa ja segmentointia sekä tuovat Esineiden ja ihmisten 3D-rekonstruktio laajalle yleisölle. Heidän ehdotuksensa sisältää tekstimuotoisten ohjeiden ja visuaalisten signaalien samanaikaisen ymmärtämisen, jotta elementtien leikkaaminen, muuntaminen ja uudelleenrakentaminen on yhtä helppoa kuin halutun kirjoittaminen tai muutamalla napsautuksella.

Mitä ovat SAM 3 ja SAM 3D ja miten ne eroavat toisistaan?

Metan Segment Anything -perhe laajenee kahdella uudella lisäyksellä: SAM 3 ja SAM 3D. Ensimmäinen keskittyy valokuvien ja videoiden kohteiden tunnistamiseen, seurantaan ja segmentointiin seuraavan sukupolven tarkkuudella, kun taas jälkimmäinen... Luo uudelleen 3D-geometrian ja ulkonäön yhdestä kuvastamukaan lukien ihmiset, eläimet tai arkipäiväiset tuotteet.

Toiminnallinen ero on selvä: SAM 3 käsittelee visuaalisen sisällön "ymmärtämisen ja erottelun", ja SAM 3D käyttää tätä ymmärrystä kolmiulotteisen tilavuuden "luomiseen". Tämän parin myötä työnkulku, joka aiemmin vaati monimutkaista ohjelmistoa tai erikoistuneita skannereita, muuttuu... paljon helpommin saavutettavissa ja nopeampi.

Lisäksi SAM 3 ei rajoitu pelkästään visuaalisiin peruskehotteisiin. Se tarjoaa luonnollisella kielellä ohjattua segmentointia, joka pystyy tulkitsemaan erittäin tarkkoja kuvauksiaEmme enää puhu vain "autosta" tai "pallosta", vaan ilmaisuista kuten "punainen lippalakki" paikantaaksemme tarkasti kyseiset elementit kohtauksessa, jopa koko videon ajan.

Samaan aikaan SAM 3D:tä on saatavilla kahtena toisiaan täydentävänä versiona: SAM 3D Objects, joka keskittyy esineitä ja kohtauksiaja SAM 3D Body, joka on koulutettu arvioimaan ihmisen muotoa ja hahmoa. Tämä erikoistuminen mahdollistaa kaiken kulutustavaroista muotokuviin ja poseerauksiin, mikä avaa oven luoville, kaupallisille ja tieteellisille sovelluksille.

Miten he onnistuvat segmentoimaan ja rekonstruoimaan yhdestä kuvasta?

Avain piilee arkkitehtuurissa, jota opetetaan suurille tietomäärille, jotta sanojen ja pikselien välille voidaan luoda suoria yhteyksiä. Malli ymmärtää kirjallisia ohjeita ja visuaalisia signaaleja (napsautuksia, pisteitä tai laatikoita) samanaikaisesti, jotta kääntää pyyntö tietyille alueille valokuvasta tai videoruudusta.

Tämä kielen ymmärtäminen ylittää perinteiset luokkanimet. SAM 3 pystyy käsittelemään monimutkaisia ​​ohjeita, poissulkemisia ja vivahteita, mahdollistaen kyselyitä, kuten "alas istuvat ihmiset, joilla ei ole punaista hattua". Tämä yhteensopivuus yksityiskohtaiset tekstikehotteet Se ratkaisee aiempien mallien historiallisen rajoituksen, joka hämmensi yksityiskohtaisia ​​käsitteitä.

Sitten SAM 3D astuu kuvaan: se aloittaa kuvasta ja luo kolmiulotteisen mallin, jonka avulla voit tarkastella kohdetta muista näkökulmista, järjestää kohtauksen uudelleen tai käyttää 3D-tehosteita. Käytännössä se integroituu edelliseen segmentointiin eristääkseen meitä kiinnostavat asiat ja siten Rakenna uudelleen 3D-muodossa ilman monimutkaisia ​​välivaiheita.

Uusia ominaisuuksia verrattuna edellisiin sukupolviin

SAM 1 ja SAM 2 mullistivat segmentoinnin luottamalla vahvasti visuaalisiin vihjeisiin. Ne kuitenkin kamppailivat, kun niitä pyydettiin tarjoamaan pitkiä tulkintoja tai vivahteikkaita luonnollisen kielen ohjeita. SAM 3 murtaa tämän esteen sisällyttämällä multimodaalinen ymmärrys joka yhdistää tekstin ja kuvan suoremmin.

Meta tukee edistystä uudella vertailuarvolla avoin sanaston segmentointiSuunniteltu arvioimaan tekstiohjattua segmentointia tosielämän tilanteissa ja SAM 3 -painojen julkaisemisen myötä. Tällä tavoin tutkijat ja kehittäjät voivat tarkasti mitata ja vertailla tuloksia eri menetelmien välillä.

Metan jakamien tietojen mukaan SAM 3D Objects on uudistuksessaan merkittävästi parempi kuin aiemmat lähestymistavat. Lisäksi yritys julkaisee tarkistuspisteitä, päättelykoodia ja arviointijoukon. SAM 3D Bodyn rinnalla yritys julkaisee SAM 3D -taiteilijan esineet, uusi taiteilijoiden kanssa luotu tietojoukko 3D-laadun arvioimiseksi monenlaisissa kuvissa.

Reaalimaailman sovellukset ja välittömät käyttötapaukset

Meta integroi näitä ominaisuuksia tuotteisiinsa. Sen Instagramin ja Facebookin videotyökalussa ”Edits” käytetään jo edistynyttä segmentointia tehosteiden lisäämiseen videoihin. tiettyjä ihmisiä tai esineitä vaikuttamatta kuvan muuhun osaan. Tämä helpottaa taustan muutoksia, valikoivia suodattimia tai kohdennettuja muunnoksia laadusta tinkimättä.

Näemme nämä ominaisuudet myös Vibesissä, Meta AI -sovelluksessa ja meta.ai-alustalla uusien muokkaus- ja luovien kokemusten myötä. Sallimalla monimutkaiset ohjeet käyttäjä voi kuvailla, mitä hän haluaa muokata, ja järjestelmä reagoi sen mukaisesti. automatisoi jälkituotannon tehtävät joka ennen oli työlästä.

Kaupankäynnissä Facebook Marketplacen "Näytä huoneessa" erottuu edukseen. Se auttaa käyttäjiä visualisoimaan, miltä huonekalut tai lamput näyttäisivät heidän kodissaan automaattisesti luotujen 3D-mallien avulla. Tämä toiminto vähentää epävarmuutta ja parantaa ostopäätöstä, keskeinen hetki, kun emme voi fyysisesti nähdä tuotetta.

Vaikutus ulottuu robotiikkaan, tieteeseen, koulutukseen ja urheilulääketieteeseen. Yksinkertaisista valokuvista tehty 3D-rekonstruktio voi syöttää tietoa simulaattoreihin, luoda anatomisia vertailumalleja ja tukea analyysityökaluja, jotka aiemmin vaativat erikoislaitteita. Kaikki tämä edistää uudet työnkulut tutkimuksessa ja koulutuksessa.

Segmentoi mitä tahansa leikkikenttä: testaa ja luo ilman kitkaa

Demokratisoidakseen pääsyä Meta on käynnistänyt Segmentoi mitä tahansa leikkikenttäVerkkosivusto, jonne kuka tahansa voi ladata kuvia tai videoita ja kokeilla SAM 3:a ja SAM 3D:tä. Sen käyttöliittymä muistuttaa klassisten editorien "taikasauvaa", ja siinä on se etu, että voimme kirjoita, mitä haluamme valita tai tarkenna muutamalla napsautuksella.

Lisäksi Leikkikenttä tarjoaa käyttövalmiita malleja. Näihin kuuluvat käytännölliset vaihtoehdot, kuten pikselöityneet kasvot tai rekisterikilvetja luovempia tehosteita, kuten liikevanoja tai kohdevaloja. Näin on mahdollista saavuttaa identiteetin suojaustehtäviä tai huomiota herättäviä tehosteita sekunneissa.

Segmentoinnin lisäksi käyttäjät voivat tutkia kohtauksia uusista näkökulmista, järjestellä niitä uudelleen tai käyttää kolmiulotteisia tehosteita SAM 3D:n avulla. Tavoitteena on, että kuka tahansa, jolla ei ole aiempaa 3D- tai konenäön tuntemusta, pystyy tekemään niin. saavuttaa hyväksyttäviä tuloksia minuuteissa ja ilman mitään asennuksia.

Mallit, avoimet resurssit ja arviointi

Meta on julkaissut resursseja auttaakseen yhteisöä edistämään huipputeknologiaa. SAM 3:lle on saatavilla seuraavat: mallien painot sekä avoimen sanaston vertailuanalyysin ja teknisen asiakirjan, jossa yksityiskohtaisesti kuvataan arkkitehtuuri ja koulutus. Tämä helpottaa toistettavuutta ja oikeudenmukaisia ​​vertailuja.

3D-rintamalla yritys on julkaissut kontrollipisteet, päättelykoodin ja seuraavan sukupolven arviointiohjelmistopaketin. SAM 3D Objectsin ja SAM 3D Bodyn kaksoisosaaminen mahdollistaa kattavan kattavuuden. yleiset esineet ja ihmiskeho kuhunkin tapaukseen mukautetuilla mittareilla, mikä on olennaista geometrisen ja visuaalisen tarkkuuden arvioimiseksi.

Yhteistyö taiteilijoiden kanssa SAM 3D -taiteilijaobjektien luomiseksi tuo arviointiin esteettisiä ja monimuotoisuuskriteerejä, ei pelkästään teknisiä. Tämä on avainasemassa, jotta 3D-rekonstruktiosta tulee hyödyllinen luovissa ja kaupallisissa ympäristöissäjossa ihmisten havaitsema laatu ratkaisee.

Tekstin segmentointi: esimerkkejä ja etuja

SAM 3:n avulla voit kirjoittaa "punainen lippalakki", ja järjestelmä tunnistaa kaikki osumat kuvassa tai videossa. Tämä tarkkuus avaa oven muokkaustyönkuluille, joissa pelkkä "punainen lippalakki" -kirjoitus riittää. lyhyitä ja selkeitä lauseita erottaa elementtejä ja soveltaa niihin tehosteita tai muunnoksia.

Yhteensopivuus multimodaalisten kielimallien kanssa mahdollistaa rikkaammat ohjeet, mukaan lukien poissulkemiset tai ehdot ("istuvat henkilöt, joilla ei ole punaista lippalakkia"). Tämä joustavuus vähentää manuaalista työaikaa ja vähentää valintavirheet jotka oli aiemmin korjattu käsin.

Tekstipohjainen segmentointi nopeuttaa sisällöntuotantoa ja helpottaa tulosten standardointia tiimeille, jotka luovat sisältöä laajasti. Esimerkiksi markkinoinnissa johdonmukaisuus voidaan ylläpitää käyttämällä suodattimia tuoteperheeseen, mikä parantaa aikaa ja kustannuksia tuotannosta.

Sosiaalisen median editointi ja digitaalinen luovuus

Edits-integraatio tuo edistyneitä jälkituotanto-ominaisuuksia Instagramin ja Facebookin sisällöntuottajille. Suodatin, joka aiemmin vaati monimutkaisia ​​maskeja, voidaan nyt ottaa käyttöön tekstikomennolla ja muutamalla napsautuksella säilyttäen samalla reunat ja hienot yksityiskohdat vakaa ruutu ruudulta.

Lyhyissä teoksissa, joissa julkaisuaikataululla on merkitystä, tämä automaatio on kultaa. Klipin taustan muuttaminen, vain yhden henkilön korostaminen tai tietyn objektin muuntaminen ei enää vaadi manuaalisia työnkulkuja, ja että demokratisoi vaikutukset jotka aiemmin olivat vain ammattilaisille.

Samaan aikaan Vibes ja meta.ai laajentavat kokemusten kirjoa kielilähtöisellä editoinnilla ja luovuudella. Kun pystymme kuvaamaan yksityiskohtaisesti, mitä haluamme, matka ideasta tulokseen lyhenee, mikä tarkoittaa seuraavaa: luovempia iteraatioita lyhyemmässä ajassa.

Kauppa, tiede ja urheilu: viihteen tuolla puolen

Facebook Marketplacen ”View in Room” -komento havainnollistaa käytännön arvoa: lampun tai huonekalun näkeminen olohuoneessa ennen ostamista vähentää tuottoja ja rakentaa luottamusta. Sen takana on myyntiputki, joka kuvista alkaen luo… 3D-malli visualisointia varten kontekstuaalinen.

Tieteessä ja koulutuksessa yksinkertaisista valokuvista rekonstruointi vähentää opetusmateriaalien ja realististen simulaattoreiden luomiskustannuksia. Tekoälyn luomaa anatomista mallia voidaan käyttää tukivälineenä luokkahuoneissa tai... biomekaaninen analyysisisällön valmistelun nopeuttaminen.

Urheilulääketieteessä kehonkoostumusanalyysin yhdistäminen muodon rekonstruktioon tarjoaa työkaluja asentojen ja liikkeiden tutkimiseen ilman kalliita laitteita. Tämä avaa mahdollisuuksia useammin arviointeja ja etävalvonta.

Tietosuoja, etiikka ja hyvät käytännöt

Näiden työkalujen voima vaatii vastuullisuutta. Ihmisten kuvien manipulointi ilman heidän suostumustaan ​​voi johtaa oikeudellisiin ja eettisiin ongelmiin. Kuvien rekonstruointia on suositeltavaa välttää. tuntemattomia kasvojaÄlä jaa malleja ilman lupaa äläkä muuta arkaluonteisia kohtauksia, jotka voivat aiheuttaa hämmennystä tai vahinkoa.

Meta ilmoittaa väärinkäytösten estämiseksi tarkoitetuista toimenpiteistä, mutta lopullinen vastuu on teknologian käyttäjällä. On suositeltavaa varmistaa kuvien alkuperä, suojata henkilötiedot ja arvioi konteksti ennen kuin julkaiset 3D-malleja, jotka saattavat paljastaa yksityisiä tietoja.

Ammatillisissa ympäristöissä tarkistus- ja suostumuskäytäntöjen laatiminen sekä tekoälyn tuottaman sisällön selkeä merkitseminen edistävät vastuullista käyttöä. Tiimin kouluttaminen näissä aiheissa auttaa estää huonoja käytäntöjä reagoivat jo nyt nopeasti tapahtumiin.

Kuinka muuntaa ihmisiä ja esineitä 3D-malleiksi SAM 3D:n avulla: Aloittaminen

Jos haluat kokeilla heti, Anything Playground -segmentti on porttisi. Siellä voit ladata kuvan tai videon, kirjoittaa haluamasi ja kokeilla 3D-rekonstruktiovaihtoehtoja yksinkertaisessa käyttöliittymässä. Teknisten profiilien osalta [lisävaihtoehtoja on saatavilla]. painot, tarkistuspisteet ja koodi jotka mahdollistavat räätälöidyn testauksen.

Tutkijoilla, kehittäjillä ja taiteilijoilla on ekosysteemi, joka sisältää vertailuarvoja, arviointiaineistoja ja dokumentaatiota. Tavoitteena on luoda yhteinen perusta edistymisen mittaamiseksi ja käyttöönoton nopeuttamiseksi. eri sektoreitadigitaalisesta luovuudesta robotiikkaan.

Mielenkiintoisinta on, että tämä harppaus ei ole varattu vain asiantuntijoille: oppimiskäyrä lyhenee ja ominaisuudet saavuttavat arkisovelluksia. Kaikki viittaa siihen, että editointi ja 3D integroidaan jatkossakin työnkulkuihin, joissa luonnollinen kieli on käyttöliittymä.

SAM 3:n ja SAM 3D:n myötä Meta tuo tekstin segmentoinnin ja yksittäisten kuvien rekonstruoinnin kaikenkokoisille sisällöntuottajille ja tiimeille. Leikkikentän, Edits-integraation, avointen resurssien sekä kaupan, koulutuksen ja urheilun sovellusten avulla luodaan vankka perusta. uusi tapa työskennellä kuvien ja tilavuuden kanssa joka yhdistää tarkkuuden, saavutettavuuden ja vastuullisuuden.