Tukar orang dan objek kepada 3D dengan SAM 3 dan SAM 3D Meta

¿Bagaimana untuk menukar orang dan objek kepada model 3D dengan SAM 3D? Kecerdasan buatan yang digunakan pada visual memberi impak yang besar, dan kini, selain memotong objek dengan tepat, ia mungkin menukar satu imej kepada model 3D Bersedia untuk meneroka dari pelbagai sudut. Meta telah memperkenalkan alat generasi baharu yang merapatkan penyuntingan, pemahaman dunia visual, dan pembinaan semula tiga dimensi tanpa memerlukan peralatan atau pengetahuan lanjutan.

Kita bercakap tentang SAM 3 dan SAM 3D, dua model yang tiba untuk meningkatkan pengesanan, penjejakan dan pembahagian serta untuk membawa Pembinaan semula 3D objek dan orang kepada khalayak yang luas. Cadangan mereka melibatkan pemahaman arahan teks dan isyarat visual secara serentak, supaya memotong, mengubah dan membina semula elemen semudah menaip perkara yang kita mahu atau membuat beberapa klik.

Apakah SAM 3 dan SAM 3D dan apakah perbezaannya?

Keluarga Segmen Meta berkembang dengan dua tambahan baharu: SAM 3 dan SAM 3D. Yang pertama memfokuskan pada mengenal pasti, menjejak dan membahagikan objek dalam foto dan video dengan ketepatan generasi akan datang, manakala yang kedua Membina semula geometri dan rupa 3D daripada satu imejtermasuk manusia, haiwan atau produk harian.

Perbezaan fungsi adalah jelas: SAM 3 mengendalikan "pemahaman dan pemisahan" kandungan visual, dan SAM 3D menggunakan pemahaman itu untuk "mencipta" volum tiga dimensi. Dengan gandingan ini, aliran kerja yang sebelum ini memerlukan perisian kompleks atau pengimbas khusus menjadi lebih mudah diakses dan lebih pantas.

Tambahan pula, SAM 3 tidak terhad kepada gesaan visual asas. Ia menyediakan segmentasi berpandukan bahasa semula jadi yang mampu mentafsir penerangan yang sangat tepatKami tidak lagi bercakap tentang "kereta" atau "bola" sahaja, tetapi tentang frasa seperti "topi besbol merah" untuk mencari dengan tepat elemen tersebut dalam adegan, walaupun sepanjang video.

Sementara itu, SAM 3D datang dalam dua perisa pelengkap: SAM 3D Objects, memfokuskan pada objek dan adegandan Badan 3D SAM, dilatih untuk menganggar bentuk dan badan manusia. Pengkhususan ini membolehkannya meliputi segala-galanya daripada barangan pengguna kepada potret dan pose, membuka pintu kepada aplikasi kreatif, komersial dan saintifik.

Bagaimanakah mereka berjaya membahagikan dan membina semula daripada satu imej?

Kuncinya terletak pada seni bina yang dilatih pada jumlah data yang besar untuk mewujudkan pautan langsung antara perkataan dan piksel. Model memahami arahan bertulis dan isyarat visual (klik, titik atau kotak) secara serentak, supaya menterjemah permintaan ke dalam bidang tertentu daripada foto atau bingkai video.

Pemahaman bahasa ini melangkaui nama kelas tradisional. SAM 3 boleh mengendalikan arahan, pengecualian dan nuansa yang kompleks, membolehkan pertanyaan seperti "orang yang duduk dan tidak memakai topi merah." Keserasian ini dengan gesaan teks terperinci Ia menyelesaikan had sejarah model terdahulu, yang cenderung mengelirukan konsep berbutir.

Kemudian SAM 3D mula bermain: bermula dengan imej, ia menghasilkan model tiga dimensi yang membolehkan anda melihat objek dari perspektif lain, menyusun semula pemandangan atau menggunakan kesan 3D. Dalam amalan, ia berintegrasi dengan pembahagian sebelumnya untuk mengasingkan perkara yang menarik minat kita dan, oleh itu, Bina semula dalam 3D tanpa langkah perantaraan yang rumit.

Ciri-ciri baru berbanding generasi sebelumnya

SAM 1 dan SAM 2 merevolusikan pembahagian dengan banyak bergantung pada isyarat visual. Walau bagaimanapun, mereka bergelut apabila diminta memberikan tafsiran yang panjang atau arahan bahasa semula jadi yang bernuansa. SAM 3 menembusi halangan itu dengan menggabungkan pemahaman multimodal yang menghubungkan teks dan penglihatan secara lebih langsung.

Meta mengiringi kemajuan dengan penanda aras baharu bagi pembahagian kosa kata terbukaDireka bentuk untuk menilai pembahagian berpandukan teks dalam senario dunia sebenar, dan dengan penerbitan pemberat SAM 3. Dengan cara ini, penyelidik dan pembangun boleh mengukur dan membandingkan hasil antara kaedah dengan teliti.

Dalam reka bentuk semulanya, SAM 3D Objects bertambah baik dengan ketara pada pendekatan sebelumnya, menurut data yang dikongsi oleh Meta, yang juga mengeluarkan pusat pemeriksaan, kod inferens dan set penilaian. Di samping SAM 3D Body, syarikat itu mengeluarkannya Objek Artis 3D SAM, set data baharu yang dibuat dengan artis untuk menilai kualiti 3D dalam pelbagai jenis imej.

Aplikasi dunia sebenar dan kes penggunaan segera

Meta sedang mengintegrasikan keupayaan ini ke dalam produknya. Dalam "Edit," alat videonya untuk Instagram dan Facebook, pembahagian lanjutan sudah digunakan untuk menggunakan kesan pada video. orang atau objek tertentu tanpa menjejaskan imej yang lain. Ini memudahkan perubahan latar belakang, penapis terpilih atau transformasi disasarkan tanpa mengorbankan kualiti.

Kami juga akan melihat ciri ini dalam Vibes, dalam apl Meta AI dan pada platform meta.ai, dengan pengalaman pengeditan dan kreatif baharu. Dengan membenarkan arahan yang kompleks, pengguna boleh menerangkan perkara yang mereka mahu ubah suai, dan sistem akan bertindak balas dengan sewajarnya. mengautomasikan tugas pasca pengeluaran yang dulu susah payah.

Dalam perdagangan, "Lihat dalam Bilik" Facebook Marketplace menonjol, membantu pengguna memvisualisasikan penampilan perabot atau lampu di rumah mereka berkat model 3D yang dijana secara automatik. Fungsi ini mengurangkan ketidakpastian dan menambah baik keputusan pembelian, titik penting apabila kita tidak dapat melihat produk secara fizikal.

Kesannya meluas kepada robotik, sains, pendidikan dan perubatan sukan. Pembinaan semula 3D daripada gambar ringkas boleh memberi suapan kepada simulator, mencipta model rujukan anatomi dan menyokong alat analisis yang sebelum ini memerlukan peralatan khusus. Semua ini menggalakkan aliran kerja baharu dalam penyelidikan dan latihan.

Segmen Anything Playground: uji dan buat tanpa geseran

Untuk mendemokrasikan akses, Meta telah dilancarkan Segmen Apa-apa sahaja Taman PermainanTapak web di mana sesiapa sahaja boleh memuat naik imej atau video dan bereksperimen dengan SAM 3 dan SAM 3D. Antara mukanya mengingatkan "tongkat ajaib" editor klasik, dengan kelebihan yang kita boleh tulis apa yang kita nak pilih atau perhalusi dengan beberapa klik.

Di samping itu, Taman Permainan menawarkan templat sedia untuk digunakan. Ini termasuk pilihan praktikal seperti muka pixelate atau plat lesendan lebih banyak kesan kreatif seperti denai gerakan atau lampu sorot. Ini memungkinkan untuk mencapai tugas perlindungan identiti atau kesan yang menarik perhatian dalam beberapa saat.

Di luar pembahagian, pengguna boleh meneroka pemandangan daripada perspektif baharu, menyusun semula adegan itu atau menggunakan kesan tiga dimensi dengan SAM 3D. Matlamatnya adalah untuk sesiapa sahaja, tanpa pengetahuan 3D atau penglihatan komputer, boleh berbuat demikian. mencapai keputusan yang boleh diterima dalam beberapa minit dan tanpa memasang apa-apa.

Model, sumber terbuka dan penilaian

Meta telah mengeluarkan sumber untuk membantu komuniti memajukan keadaan seni. Untuk SAM 3, yang berikut tersedia: berat model bersama-sama dengan tanda aras perbendaharaan kata terbuka dan kertas teknikal yang memperincikan seni bina dan latihan. Ini memudahkan kebolehulangan dan perbandingan yang saksama.

Di hadapan 3D, syarikat itu telah mengeluarkan titik kawalan, kod inferens dan suite penilaian generasi seterusnya. Dualiti SAM 3D Objects dan SAM 3D Body membolehkan liputan menyeluruh. objek umum dan badan manusia dengan metrik yang disesuaikan dengan setiap kes, sesuatu yang penting untuk menilai kesetiaan geometri dan visual.

Bekerjasama dengan artis untuk mencipta Objek Artis SAM 3D memperkenalkan kriteria estetik dan kepelbagaian ke dalam penilaian, bukan hanya kriteria teknikal. Ini adalah kunci untuk menjadikan pembinaan semula 3D berguna dalam persekitaran kreatif dan komersialdi mana kualiti yang dilihat oleh orang ramai membuat perbezaan.

Pembahagian teks: contoh dan kelebihan

Dengan SAM 3, anda boleh menaip "topi besbol merah" dan sistem akan mengenal pasti semua padanan dalam imej atau sepanjang video. Ketepatan ini membuka pintu untuk menyunting aliran kerja di mana hanya menaip "topi besbol merah" sudah memadai. ayat yang pendek dan jelas untuk memisahkan elemen dan menggunakan kesan atau transformasi padanya.

Keserasian dengan model bahasa multimodal membolehkan arahan yang lebih kaya, termasuk pengecualian atau syarat ("orang yang duduk yang tidak memakai topi merah"). Fleksibiliti ini mengurangkan waktu kerja manual dan berkurangan kesilapan pemilihan yang sebelum ini dibetulkan dengan tangan.

Untuk pasukan yang mencipta kandungan pada skala, segmentasi terdorong teks mempercepatkan saluran paip dan memudahkan untuk menyeragamkan hasil. Dalam pemasaran, sebagai contoh, konsistensi boleh dikekalkan dengan menggunakan penapis pada keluarga produk, sesuatu yang menambah baik masa dan kos daripada pengeluaran.

Penyuntingan media sosial dan kreativiti digital

Penyepaduan dalam Suntingan membawa ciri pasca pengeluaran lanjutan kepada pencipta Instagram dan Facebook. Penapis yang sebelum ini memerlukan topeng kompleks kini boleh digunakan dengan arahan teks dan beberapa klik, sambil mengekalkan tepi dan butiran halus bingkai demi bingkai yang stabil.

Untuk potongan pendek, di mana jadual penerbitan penting, automasi ini adalah emas. Menukar latar belakang klip, menyerlahkan hanya satu orang atau mengubah objek tertentu tidak lagi memerlukan aliran kerja manual dan itu mendemokrasikan kesan yang sebelum ini eksklusif untuk profesional.

Sementara itu, Vibes dan meta.ai memperluaskan rangkaian pengalaman dengan pengeditan dan kreativiti dipacu bahasa. Dengan dapat menerangkan secara terperinci apa yang kita mahu, lompatan dari idea ke hasil dipendekkan, yang diterjemahkan ke dalam lelaran yang lebih kreatif dalam masa yang lebih sedikit.

Perdagangan, sains dan sukan: melangkaui hiburan

“Lihat dalam Bilik” di Facebook Marketplace menunjukkan nilai praktikal: melihat lampu atau perabot di ruang tamu anda sebelum membeli mengurangkan pulangan dan membina kepercayaan. Di belakangnya adalah saluran paip yang, bermula dengan imej, menjana a Model 3D untuk visualisasi kontekstual.

Dalam sains dan pendidikan, membina semula daripada gambar mudah mengurangkan kos mencipta bahan pengajaran dan simulator realistik. Model anatomi yang dijana AI boleh digunakan sebagai alat sokongan dalam bilik darjah atau dalam... analisis biomekanikalmempercepatkan penyediaan kandungan.

Dalam perubatan sukan, menggabungkan analisis komposisi badan dengan pembinaan semula bentuk menyediakan alat untuk mengkaji postur dan pergerakan tanpa peralatan mahal. Ini membuka kemungkinan untuk penilaian yang lebih kerap dan pemantauan jarak jauh.

Privasi, etika dan amalan baik

Kuasa alat ini menuntut tanggungjawab. Memanipulasi imej orang tanpa persetujuan mereka boleh membawa kepada masalah undang-undang dan etika. Adalah dinasihatkan untuk mengelak daripada membina semula imej. muka yang tidak dikenaliJangan kongsi model tanpa kebenaran dan jangan ubah adegan sensitif yang boleh menyebabkan kekeliruan atau bahaya.

Meta mengumumkan kawalan untuk mengurangkan penyalahgunaan, tetapi tanggungjawab utama terletak pada pengguna teknologi. Adalah dinasihatkan untuk mengesahkan asal usul imej, melindungi data peribadi, dan menilai konteks sebelum menerbitkan model 3D yang mungkin mendedahkan maklumat peribadi.

Dalam tetapan profesional, mewujudkan dasar semakan dan persetujuan, dan melabelkan kandungan yang dijana AI dengan jelas, menyumbang kepada penggunaan yang bertanggungjawab. Melatih pasukan mengenai topik ini membantu mencegah amalan buruk sudah bertindak balas dengan cepat terhadap insiden.

Cara menukar orang dan objek kepada model 3D dengan SAM 3D: Bagaimana untuk bermula

Jika anda ingin mencuba segera, Segmen Taman Permainan Apa-apa sahaja ialah pintu masuk. Di sana anda boleh memuat naik foto atau video, menaip apa yang anda mahu pilih, dan mencuba pilihan pembinaan semula 3D dalam antara muka yang mudah. Untuk profil teknikal, [pilihan lanjut tersedia]. pemberat, pusat pemeriksaan dan kod yang memudahkan ujian tersuai.

Penyelidik, pembangun dan artis mempunyai ekosistem yang merangkumi penanda aras, set data penilaian dan dokumentasi. Matlamatnya adalah untuk mewujudkan titik persamaan untuk mengukur kemajuan dan mempercepatkan penerimaan dalam sektor yang berbezadaripada kreativiti digital kepada robotik.

Perkara yang paling menarik ialah lonjakan ini tidak dikhaskan untuk pakar: keluk pembelajaran semakin pendek dan ciri-cirinya mencapai apl harian. Semuanya mencadangkan bahawa penyuntingan dan 3D akan terus disepadukan ke dalam aliran kerja di mana bahasa semula jadi adalah antara muka.

Dengan SAM 3 dan SAM 3D, Meta membawa pembahagian teks dan pembinaan semula imej tunggal kepada pencipta dan pasukan dari semua saiz. Antara Taman Permainan, penyepaduan dalam Suntingan, sumber terbuka dan aplikasi dalam perdagangan, pendidikan dan sukan, asas yang kukuh sedang ditempa. cara baharu bekerja dengan imej dan kelantangan yang menggabungkan ketepatan, kebolehcapaian dan tanggungjawab.