Meta prezante SAM 3 ak SAM 3D: yon nouvo jenerasyon IA vizyèl.

Meta fè yon lòt pa nan angajman li pou entèlijans atifisyèl aplike nan vizyon òdinatè ak nan lansman SAM 3 ak SAM 3D, de modèl ki elaji fanmi Segment Anything la epi ki Yo vize chanje fason nou travay ak foto ak videyo.Konpayi an pa rete yon eksperyans laboratwa, men li vle pou pwofesyonèl ak itilizatè ki pa gen konesans teknik itilize zouti sa yo.

Avèk nouvo jenerasyon sa a, Meta ap konsantre sou amelyore deteksyon objè ak segmentasyon epi nan pote a rekonstriksyon twa dimansyon pou yon odyans pi lajSoti nan koreksyon videyo rive nan vizyalizasyon pwodwi pou e-komès nan peyi Espay ak nan rès Ewòp, konpayi an prevwa yon senaryo kote Jis dekri sa ou vle fè a ak mo sifi pou IA fè pi fò nan travay di a..

Kisa SAM 3 ofri konpare ak vèsyon anvan yo?

SAM 3 pozisyone kòm evolisyon dirèk la nan modèl segmentasyon Meta te prezante an 2023 ak 2024 yo, ke yo rekonèt kòm SAM 1 ak SAM 2. Premye vèsyon sa yo te konsantre sou idantifye ki pixel ki te pou chak objè, sitou lè l sèvi avèk siyal vizyèl tankou pwen, bwat oswa mask, epi nan ka SAM 2 a, swiv objè yo pandan tout yon videyo prèske an tan reyèl.

Nouvo devlopman kle a kounye a se ke SAM 3 konprann enstriksyon tèks rich ak presipa sèlman etikèt jeneral. Alòske anvan yo te konn itilize tèm senp tankou "machin" oswa "bis", nouvo modèl la kapab reponn a deskripsyon pi espesifik, pa egzanp "bis lekòl jòn" oswa "machin wouj pake an doub liy".

An pratik, sa vle di li sifi pou ekri yon bagay tankou "kaskèt bezbòl wouj" pou sistèm nan ka lokalize epi separe tout eleman ki koresponn ak deskripsyon sa a nan yon imaj oswa yon videyo. Kapasite sa a pou rafine ak mo patikilyèman itil nan kontèks koreksyon pwofesyonèl, piblisite oswa analiz kontni, kote ou souvan oblije gade detay trè espesifik.

Anplis de sa, SAM 3 te fèt pou entegre ak gwo modèl langaj multimodalSa pèmèt ou ale pi lwen pase fraz senp epi itilize enstriksyon konplèks tankou: "Moun chita men yo pa gen yon kaskèt wouj sou yo" oubyen “pyeton k ap gade kamera a men san sakado.” Kalite enstriksyon sa a konbine kondisyon ak esklizyon ki te difisil pou tradui an yon zouti vizyon òdinatè jiska dènyèman.

Pèfòmans ak echèl modèl SAM 3 la

Meta te vle mete aksan tou sou pati ki mwens vizib la men ki enpòtan an: la echèl pèfòmans teknik ak konesans modèl la. Selon done konpayi an, SAM 3 kapab trete yon sèl imaj ak plis pase san objè detekte nan anviwon 30 milisgond lè l sèvi avèk yon GPU H200, yon vitès ki trè pre sa ki nesesè pou workflows ki mande anpil efò.

Nan ka videyo a, konpayi an asire ke sistèm nan kenbe pèfòmans li. pratikman an tan reyèl lè w ap travay avèk anviwon senk objè similtane, sa ki fè li posib pou swiv ak segmente kontni k ap deplase, soti nan ti klip medya sosyal rive nan pwojè pwodiksyon ki pi anbisye.

Pou reyalize konpòtman sa a, Meta te bati yon baz antrènman ak plis pase 4 milyon konsèp inikLè yo konbine anotatè imen ak modèl IA pou ede mete etikèt sou gwo volim done, melanj sipèvizyon manyèl ak otomatik sa a gen pou objaktif pou balanse presizyon ak echèl—esansyèl pou asire modèl la reponn byen a divès entrain nan kontèks mache Ewopeyen, Amerik Latin nan ak lòt yo.

Konpayi an ankadre SAM 3 nan sa li rele Koleksyon Segman Nenpòt BagayYon fanmi modèl, referans, ak resous ki fèt pou elaji konpreyansyon vizyèl IA a. Lansman an akonpaye pa yon nouvo referans pou segmentasyon "vokabilè ouvè", ki konsantre sou mezire nan ki pwen sistèm nan ka konprann prèske nenpòt konsèp ki eksprime nan lang natirèl.

Entegrasyon avèk Edits, Vibes, ak lòt zouti Meta

Anplis aspè teknik la, Meta deja kòmanse entegre SAM 3 nan pwodwi espesifik ki fèt pou itilizasyon chak jou. Youn nan premye destinasyon yo pral Modifikasyon, aplikasyon kreyasyon ak koreksyon videyo yo a, kote lide a se ke itilizatè a ka chwazi moun oswa objè espesifik ak yon senp deskripsyon tèks epi aplike efè, filtè oswa chanjman sèlman nan pati sa yo nan fim nan.

Yon lòt mwayen pou entegrasyon ap jwenn nan Vibes, nan aplikasyon Meta AI a ak platfòm meta.ai aNan anviwònman sa a, yo pral konbine segmentasyon tèks avèk zouti jeneratif pou kreye nouvo eksperyans koreksyon ak kreyatif, tankou background pèsonalize, efè mouvman, oswa modifikasyon foto selektif ki fèt pou rezo sosyal ki trè popilè nan peyi Espay ak nan rès Ewòp.

Pwopozisyon konpayi an se pou kapasite sa yo pa limite a etid pwofesyonèl sèlman, men pito rive nan... kreyatè endepandan, ti ajans, ak itilizatè avanse ki travay chak jou ak kontni vizyèl. Kapasite pou segmante sèn yo lè w ekri deskripsyon nan lang natirèl diminye koub aprantisaj la konpare ak zouti tradisyonèl ki baze sou mask ak kouch manyèl.

An menm tan, Meta kenbe yon apwòch ouvè anvè devlopè ekstèn yo, sa ki sijere ke aplikasyon twazyèm pati -soti nan zouti koreksyon rive nan solisyon pou analiz videyo nan komès an detay oswa sekirite- ka konte sou SAM 3 toutotan règleman itilizasyon konpayi an respekte.

SAM 3D: Rekonstriksyon twa dimansyon apati yon sèl imaj

Lòt gwo nouvèl la se SAM 3Dyon sistèm ki fèt pou fè rekonstriksyon twa dimansyon kòmanse avèk imaj 2D. Olye pou l bezwen plizyè kaptire soti nan diferan ang, modèl la gen pou objaktif pou jenere yon reprezantasyon 3D serye soti nan yon sèl foto, yon bagay ki patikilyèman enteresan pou moun ki pa gen ekipman eskanè espesyalize oswa workflows.

SAM 3D gen ladan de modèl sous ouvè ak fonksyon diferan: Objè 3D SAM yokonsantre sou rekonstriksyon objè ak sèn, epi Kò SAM 3D, oryante pou estime fòm ak kò moun. Separasyon sa a pèmèt sistèm nan adapte ak ka itilizasyon trè diferan, soti nan katalòg pwodwi rive nan aplikasyon sante oswa espò.

Dapre Meta, SAM 3D Objects make yon Nouvo referans pèfòmans nan rekonstriksyon 3D gide pa IAfasilman depase metòd anvan yo nan mezi kalite kle yo. Pou evalye rezilta yo pi rigoureusement, konpayi an te travay avèk atis pou kreye SAM 3D Artist Objects, yon seri done ki fèt espesyalman pou evalye fidelite ak detay rekonstriksyon atravè yon gran varyete imaj ak objè.

Avansman sa a ouvri pòt pou aplikasyon pratik nan domèn tankou robotik, syans, medsin espòtif, oswa kreyativite dijitalPa egzanp, nan robotik li ka ede sistèm yo pi byen konprann volim objè yo kominike avèk yo; nan rechèch medikal oswa espòtif, li ta ka ede analize pwosti ak mouvman kò a; epi nan konsepsyon kreyatif, li sèvi kòm yon baz pou jenere modèl 3D pou animasyon, jwèt videyo, oswa eksperyans imersif.

Youn nan premye aplikasyon komèsyal ki deja vizib se fonksyon an "Vi nan chanm nan" de Facebook Marketplaceki pèmèt ou wè kijan yon mèb oswa yon objè dekoratif ta sanble nan yon chanm reyèl anvan ou achte li. Avèk SAM 3D, Meta ap chache pèfeksyone kalite eksperyans sa yo, trè enpòtan pou komès elektwonik Ewopeyen an, kote retounen pwodwi akòz atant ki pa satisfè reprezante yon pri k ap ogmante.

Segman Nenpòt Lakou Rekreyasyon: yon anviwònman pou fè eksperyans

Pou pèmèt piblik la teste kapasite sa yo san yo pa enstale anyen, Meta te aktive Segman Nenpòt Lakou RekreyasyonSe yon platfòm entènèt ki pèmèt ou telechaje imaj oswa videyo epi fè eksperyans ak SAM 3 ak SAM 3D dirèkteman nan navigatè w la. Lide a se pou nenpòt moun ki kirye sou IA vizyèl ka eksplore sa ki posib san okenn konesans pwogramasyon.

Nan ka SAM 3 a, Playground lan pèmèt segmentasyon objè yo lè l sèvi avèk fraz kout oswa enstriksyon detayeKonbine tèks ak, si ou vle, egzanp vizyèl. Sa senplifye travay komen tankou chwazi moun, machin, bèt, oswa eleman espesifik nan sèn nan epi aplike aksyon espesifik sou yo, soti nan efè estetik rive nan flou oswa ranplasman background.

Lè w ap travay avèk SAM 3D, platfòm nan fè li posib Eksplore sèn yo soti nan nouvo pèspektivrearanje objè yo, aplike efè twa dimansyon, oswa jenere lòt pèspektiv. Pou moun k ap travay nan konsepsyon, piblisite, oswa kontni 3D, li ofri yon fason rapid pou fè prototip lide san yo pa bezwen itilize zouti teknik konplèks depi nan kòmansman.

Lakou rekreyasyon an gen ladan l tou yon seri de pare-a-itilize modèl Fonksyonalite sa yo fèt pou travay byen espesifik. Yo gen ladan opsyon pratik tankou pikselize figi oswa plak machin pou rezon vi prive, ak efè vizyèl tankou tras mouvman, pwen enpòtan selektif, oswa limyè sou zòn enteresan nan videyo a. Kalite fonksyon sa yo ka patikilyèman apwopriye pou travay kreyatè medya dijital ak kontni nan peyi Espay, kote pwodiksyon videyo kout ak kontni medya sosyal la konstan.

Resous ouvè pou devlopè ak chèchè yo

An akò avèk estrateji Meta te swiv nan lòt vèsyon IA yo, konpayi an deside pibliye yon pòsyon enpòtan nan resous teknik ki asosye avèk SAM 3 ak SAM 3DPou premye a, pwa modèl yo, yon nouvo referans ki konsantre sou segmentasyon vokabilè ouvè, ak yon dokiman teknik ki detaye devlopman li te vin piblik.

Nan ka SAM 3D a, men sa ki disponib: pwen kontwòl modèl, kòd enferans, ak yon seri done evalyasyon pwochen jenerasyon an. Ansanm done sa a gen ladan l yon varyete imaj ak objè konsiderab ki gen pou objektif ale pi lwen pase pwen referans 3D tradisyonèl yo, bay plis réalisme ak konpleksite, yon bagay ki ka trè itil pou gwoup rechèch Ewopeyen k ap travay nan vizyon òdinatè ak grafik.

Meta te anonse tou kolaborasyon avèk platfòm anotasyon tankou Roboflow, ak objektif pou pèmèt devlopè ak konpayi yo Antre pwòp done ou yo epi ajiste SAM 3 la a bezwen espesifik. Sa a ouvè pòt la pou solisyon espesifik nan sektè a, soti nan enspeksyon endistriyèl rive nan analiz trafik iben, ki gen ladan pwojè eritaj kiltirèl kote li enpòtan pou segmante eleman achitekti oswa atistik avèk presizyon.

Lè konpayi an chwazi yon apwòch relativman ouvè, li vle asire ke ekosistèm devlopè a, inivèsite ak nouvo antrepriz -ki gen ladan moun k ap opere an Espay ak nan rès Ewòp la- ka fè eksperyans ak teknoloji sa yo, entegre yo nan pwòp pwodwi yo epi, finalman, kontribye nan ka itilizasyon ki depase sa Meta ka devlope entènman.

Avèk SAM 3 ak SAM 3D, Meta gen pou objektif pou konsolide yon platfòm IA vizyèl ki pi fleksib ak aksesibkote segmentasyon gide pa tèks ak rekonstriksyon 3D apati yon sèl imaj pa rezève pou ekip trè espesyalize ankò. Enpak potansyèl la pwolonje soti nan koreksyon videyo chak jou rive nan aplikasyon avanse nan syans, endistri ak e-komès, nan yon kontèks kote konbinezon langaj, vizyon òdinatè ak kreyativite ap vin tounen yon zouti travay estanda epi non pa sèlman yon pwomès teknolojik.