Meta nampilake SAM 3 lan SAM 3D: generasi anyar AI visual

Meta wis njupuk langkah liyane ing prasetya kanggo intelijen buatan sing ditrapake kanggo visi komputer con el peluncuran SAM 3 lan SAM 3D, rong model sing ngembangake kulawarga Segmen Apa wae lan sing Dheweke ngarahake ngganti cara kita nggarap foto lan videoOra adoh saka eksperimen laboratorium, perusahaan pengin alat kasebut digunakake dening para profesional lan pangguna tanpa latar mburi teknis.

Kanthi generasi anyar iki, Meta fokus ing nambah deteksi lan segmentasi obyek lan ing nggawa ing rekonstruksi telung dimensi kanggo pamirsa luwih akehSaka panyuntingan video nganti visualisasi produk kanggo e-commerce ing Spanyol lan Eropa liyane, perusahaan kasebut nggambarake skenario Cukup njlèntrèhaké apa sing arep sampeyan tindakake ing tembung cukup kanggo AI kanggo nindakake paling saka ngangkat abot..

Apa sing ditawakake SAM 3 dibandhingake karo versi sadurunge?

SAM 3 dipanggonke minangka evolusi langsung saka model segmentasi sing Meta presented ing 2023 lan 2024, dikenal minangka SAM 1 lan SAM 2. Sing versi awal fokus ing ngenali kang piksel kagungane saben obyek, utamané nggunakake isyarat visual kayata titik, kothak utawa topeng, lan ing kasus SAM 2, nderek obyek ing saindhenging video meh ing wektu nyata.

Pangembangan anyar sing penting saiki yaiku SAM 3 ngerti pituduh teks sing sugih lan tepatora mung label umum. Dene sadurunge istilah-istilah prasaja kaya "mobil" utawa "bus" digunakake, model anyar iki bisa nanggapi deskripsi sing luwih spesifik, contone "bus sekolah kuning" utawa "mobil abang diparkir kaping pindho".

Ing laku, iki tegese cukup nulis kaya “topi baseball warna merah” supaya sistem bisa nemokake lan misahake kabeh unsur sing cocog karo gambaran ing gambar utawa video. Kemampuan kanggo nyaring tembung iki utamané migunani ing konteks editing profesional, iklan utawa analisis isi, ngendi sampeyan kerep kudu katon ing rincian banget tartamtu.

Salajengipun, SAM 3 wis dirancang kanggo nggabungake karo model basa multimodal gedheIki ngidini sampeyan ngluwihi frasa sing prasaja lan nggunakake instruksi rumit kayata: "Wong lungguh nanging ora nganggo topi abang" utawa "wong mlaku sing ndeleng kamera nanging tanpa tas ransel." Jinis instruksi iki nggabungake kahanan lan pengecualian sing nganti saiki angel diterjemahake menyang alat visi komputer.

Kinerja lan skala model SAM 3

Meta uga pengin nyorot bagean sing kurang katon nanging penting: ing kinerja teknis lan skala kawruh saka model. Miturut data perusahaan, SAM 3 bisa ngolah gambar siji kanthi luwih saka satus obyek sing dideteksi ing udakara 30 milidetik kanthi nggunakake GPU H200, kacepetan sing cedhak karo apa sing dibutuhake kanggo alur kerja sing dibutuhake.

Ing kasus video, perusahaan njamin yen sistem njaga kinerja sakbenere ing wektu nyata nalika nggarap watara limang obyek bebarengan, nggawe iku sregep kanggo nelusuri lan segmenting isi obah, saka klip media sosial singkat kanggo proyèk produksi luwih ambisius.

Kanggo entuk prilaku iki, Meta wis mbangun basis latihan karo luwih saka 4 yuta konsep unikNggabungake annotator manungsa karo model AI kanggo mbantu menehi label volume data sing akeh, gabungan pengawasan manual lan otomatis iki nduweni tujuan kanggo ngimbangi akurasi lan skala-kunci kanggo mesthekake model kasebut nanggapi kanthi apik kanggo macem-macem input ing Eropa, Amerika Latin, lan konteks pasar liyane.

Perusahaan pigura SAM 3 ing apa sing diarani Segmen Apa wae KoleksiKulawarga model, tolok ukur, lan sumber daya sing dirancang kanggo nggedhekake pangerten visual AI. Peluncuran kasebut diiringi pathokan anyar kanggo segmentasi "vocabulary terbuka", fokus kanggo ngukur sepira sistem bisa ngerti meh kabeh konsep sing ditulis ing basa alami.

Integrasi karo Suntingan, Vibes, lan alat Meta liyane

Ngluwihi komponen teknis, Meta wis diwiwiti nggabungake SAM 3 menyang produk tartamtu sing dimaksudaké kanggo panggunaan saben dina. Salah sawijining tujuan pisanan yaiku Suntingan, aplikasi nggawe lan panyuntingan video, ing ngendi ide kasebut yaiku pangguna bisa milih wong utawa obyek tartamtu kanthi deskripsi teks sing prasaja lan ngetrapake efek, saringan utawa owah-owahan mung ing bagean rekaman kasebut.

Cara liya kanggo integrasi bakal ditemokake ing Getaran, ing aplikasi Meta AI lan platform meta.aiIng lingkungan iki, segmentasi teks bakal digabungake karo alat generatif kanggo nggawe pengalaman nyunting lan kreatif anyar, kayata latar mburi khusus, efek gerakan, utawa modifikasi foto selektif sing dirancang kanggo jaringan sosial sing populer banget ing Spanyol lan Eropa liyane.

Proposal perusahaan yaiku kapabilitas kasebut ora diwatesi kanggo pasinaon profesional, nanging tekan ... kreator independen, agensi cilik, lan pangguna majeng sing kerja saben dina kanthi konten visual. Kemampuan kanggo mbagi adegan kanthi nulis deskripsi ing basa alami nyuda kurva sinau dibandhingake karo alat tradisional adhedhasar topeng lan lapisan manual.

Ing wektu sing padha, Meta njaga pendekatan sing mbukak menyang pangembang eksternal, menehi saran aplikasi pihak katelu -saka alat panyuntingan nganti solusi kanggo analytics video ing toko utawa keamanan- bisa ngandelake SAM 3 anggere kabijakan panggunaan perusahaan dihormati.

SAM 3D: Rekonstruksi telung dimensi saka gambar siji

Warta gedhe liyane yaiku SAM 3Dsistem sing dirancang kanggo nindakake rekonstruksi telung dimensi wiwit saka gambar 2D. Tinimbang mbutuhake pirang-pirang panangkepan saka sudut sing beda-beda, model kasebut ngarahake ngasilake perwakilan 3D sing bisa dipercaya saka foto siji, sing menarik banget kanggo wong-wong sing ora duwe peralatan scan utawa alur kerja khusus.

SAM 3D kasusun saka rong model open-source kanthi fungsi sing béda: Obyek SAM 3Dfokus ing reconstructing obyek lan pemandangan, lan SAM 3D Body, diarahake kanggo ngira wangun lan awak manungsa. Pemisahan iki ngidini sistem bisa diadaptasi kanggo kasus panggunaan sing beda banget, saka katalog produk nganti aplikasi kesehatan utawa olahraga.

Miturut Meta, SAM 3D Objects tandha a Patokan kinerja anyar ing rekonstruksi 3D sing dipandu AIgampang ngluwihi cara sadurunge ing metrik kualitas tombol. Kanggo ngevaluasi asil sing luwih ketat, perusahaan wis kerja sama karo seniman kanggo nggawe SAM 3D Artist Objects, sawijining set data sing dirancang khusus kanggo netepake kasetyan lan rincian rekonstruksi ing macem-macem gambar lan obyek.

advance iki mbukak lawang kanggo aplikasi praktis ing wilayah kayata robotika, ilmu pengetahuan, obat olahraga, utawa kreatifitas digitalContone, ing robotika bisa mbantu sistem luwih ngerti volume obyek sing sesambungan karo; ing riset medis utawa olahraga, bisa mbantu nganalisa postur lan gerakan awak; lan ing desain kreatif, iku dadi basis kanggo ngasilake model 3D kanggo animasi, video game, utawa pengalaman immersive.

Salah sawijining aplikasi komersial pisanan sing wis katon yaiku fungsi kasebut “Ndeleng ing Kamar” de Facebook Marketplacesing ngijini sampeyan kanggo nggambarake carane Piece saka Furnitur utawa obyek hiasan bakal katon ing kamar nyata sadurunge tuku. Kanthi SAM 3D, Meta ngupaya nyampurnakake jinis pengalaman kasebut, Highly cocog kanggo e-commerce Eropah, ngendi bali produk amarga pangarepan unmet nuduhake biaya nambah.

Artikel sing gegandhengan:

Ngonversi wong lan obyek menyang 3D nganggo SAM 3 lan SAM 3D Meta

Segmen Apa wae Playground: lingkungan kanggo eksperimen

Kanggo ngidini masyarakat nguji kemampuan kasebut tanpa nginstal apa-apa, Meta wis ngaktifake Segmen Apa wae PlaygroundIku platform web sing ngijini sampeyan ngunggah gambar utawa video lan eksprimen karo SAM 3 lan SAM 3D langsung saka browser Panjenengan. Ide kasebut yaiku sapa wae sing kepengin weruh babagan visual AI bisa njelajah apa sing bisa ditindakake tanpa kawruh babagan program.

Ing kasus SAM 3, Playground ngidini obyek segmenting nggunakake phrases cendhak utawa instruksi rinciNggabungake teks lan, yen dikarepake, conto visual. Iki nyederhanakake tugas umum kayata milih wong, mobil, kewan, utawa unsur tartamtu saka pemandangan lan nglamar tumindak tartamtu kanggo wong-wong mau, saka efek estetis kanggo burem utawa ngganti latar mburi.

Nalika nggarap SAM 3D, platform kasebut bisa ditindakake Jelajahi pemandangan saka perspektif anyarNgatur maneh obyek, ngetrapake efek telung dimensi, utawa ngasilake tampilan alternatif. Kanggo sing kerja ing desain, pariwara, utawa konten 3D, nawakake cara cepet kanggo nggawe ide prototipe tanpa kudu nggunakake alat teknis sing rumit wiwit wiwitan.

Playground uga kalebu seri saka plantillas listas para usar Fitur kasebut diarahake menyang tugas sing spesifik banget. Iki kalebu opsi praktis kayata pasuryan piksel utawa piring lisensi amarga alasan privasi, lan efek visual kaya tilase gerakan, sorotan selektif, utawa sorotan ing area sing disenengi ing video kasebut. Jinis fungsi kasebut bisa dadi pas banget kanggo alur kerja media digital lan panyipta konten ing Spanyol, ing ngendi produksi video cekak lan konten media sosial tetep.

Sumber daya mbukak kanggo pangembang lan peneliti

Selaras karo strategi Meta sing ditindakake ing rilis AI liyane, perusahaan wis mutusake kanggo ngeculake bagean penting saka sumber technical gadhah SAM 3 lan SAM 3DKanggo pisanan, bobot model, pathokan anyar sing fokus ing segmentasi kosakata sing mbukak, lan dokumen teknis sing rinci babagan pangembangane wis digawe umum.

Ing kasus SAM 3D, ing ngisor iki kasedhiya: titik mriksa model, kode inferensi, lan dataset evaluasi generasi sabanjure. Dataset iki kalebu macem-macem gambar lan obyek sing nduweni tujuan ngluwihi titik referensi 3D tradisional, nyedhiyakake realisme lan kerumitan sing luwih gedhe, sing bisa migunani banget kanggo kelompok riset Eropa sing kerja ing visi komputer lan grafis.

Meta uga ngumumake kolaborasi karo platform anotasi kaya Roboflow, kanthi tujuan supaya pangembang lan perusahaan bisa Ketik data sampeyan dhewe lan atur SAM 3 kanggo kabutuhan tartamtu. Iki mbukak lawang kanggo solusi khusus sektor, saka inspeksi industri nganti analisis lalu lintas kutha, kalebu proyek warisan budaya sing penting kanggo ngethok unsur arsitektur utawa seni kanthi akurat.

Kanthi milih pendekatan sing relatif mbukak, perusahaan ngupaya kanggo mesthekake yen ekosistem pangembang, universitas lan wiwitan -kalebu sing operasi ing Spanyol lan liyane Eropah- bisa eksprimen karo teknologi iki, nggabungaken menyang produk dhewe lan, pungkasanipun, kontribusi kasus panggunaan sing ngluwihi sing Meta bisa berkembang internal.

Kanthi SAM 3 lan SAM 3D, Meta ngarahake nggabungake a platform AI visual sing luwih fleksibel lan bisa diaksesing ngendi segmentasi sing dipandu teks lan rekonstruksi 3D saka gambar siji ora nduweni kemampuan maneh kanggo tim khusus. Dampak potensial ngluwihi saka panyuntingan video saben dina nganti aplikasi canggih ing ilmu, industri, lan e-commerce, ing konteks ing ngendi kombinasi basa, visi komputer, lan kreativitas dadi alat kerja standar lan ora mung janji teknologi.

Alberto Navarro

Aku minangka penggemar teknologi sing wis ngowahi minat "geek" dadi profesi. Aku wis ngentekake luwih saka 10 taun uripku nggunakake teknologi sing canggih lan ngupayakake kabeh jinis program amarga penasaran. Saiki aku duwe spesialisasi ing teknologi komputer lan game video. Iki amarga luwih saka 5 taun aku wis nulis kanggo macem-macem situs web babagan teknologi lan video game, nggawe artikel sing ngupaya menehi informasi sing dibutuhake ing basa sing bisa dingerteni kabeh wong.

Yen sampeyan duwe pitakon, kawruhku kalebu kabeh sing ana gandhengane karo sistem operasi Windows uga Android kanggo ponsel. Lan prasetyaku kanggo sampeyan, aku tansah gelem ngentekake sawetara menit lan mbantu sampeyan ngrampungake pitakonan sing sampeyan duwe ing jagad internet iki.