Ubah orang dan objek menjadi 3D dengan SAM 3 dan SAM 3D Meta

¿Bagaimana cara mengubah orang dan objek menjadi model 3D dengan SAM 3D? Kecerdasan buatan yang diterapkan pada visual memberikan dampak besar, dan sekarang, selain memotong objek secara tepat, hal ini memungkinkan mengubah satu gambar menjadi model 3D Siap menjelajah dari berbagai sudut. Meta telah memperkenalkan generasi baru alat yang menjembatani pengeditan, pemahaman dunia visual, dan rekonstruksi tiga dimensi tanpa memerlukan peralatan atau pengetahuan canggih.

Kita berbicara tentang SAM 3 dan SAM 3D, dua model yang hadir untuk meningkatkan deteksi, pelacakan, dan segmentasi, dan untuk menghadirkan Rekonstruksi 3D objek dan orang Proposal mereka melibatkan pemahaman instruksi teks dan sinyal visual secara bersamaan, sehingga pemotongan, transformasi, dan rekonstruksi elemen semudah mengetik apa yang kita inginkan atau melakukan beberapa klik.

Apa itu SAM 3 dan SAM 3D dan apa perbedaannya?

Keluarga Segment Anything dari Meta diperluas dengan dua tambahan baru: SAM 3 dan SAM 3D. SAM 3 berfokus pada identifikasi, pelacakan, dan segmentasi objek dalam foto dan video dengan akurasi generasi berikutnya, sementara SAM 3D berfokus pada identifikasi, pelacakan, dan segmentasi objek dalam foto dan video dengan akurasi generasi berikutnya. Merekonstruksi geometri dan tampilan 3D dari satu gambartermasuk orang, hewan, atau produk sehari-hari.

Perbedaan fungsionalnya jelas: SAM 3 menangani "pemahaman dan pemisahan" konten visual, sementara SAM 3D menggunakan pemahaman tersebut untuk "menciptakan" volume tiga dimensi. Dengan kombinasi ini, alur kerja yang sebelumnya membutuhkan perangkat lunak kompleks atau pemindai khusus menjadi lebih mudah. jauh lebih mudah diakses dan lebih cepat.

Lebih lanjut, SAM 3 tidak terbatas pada perintah visual dasar. SAM 3 menyediakan segmentasi yang dipandu bahasa alami yang mampu menafsirkan deskripsi yang sangat tepatKita tidak lagi hanya berbicara tentang "mobil" atau "bola", tetapi tentang frasa seperti "topi baseball merah" untuk menemukan elemen-elemen tersebut secara tepat dalam sebuah adegan, bahkan di sepanjang video.

Sementara itu, SAM 3D hadir dalam dua rasa yang saling melengkapi: Objek SAM 3D, yang berfokus pada objek dan pemandangandan SAM 3D Body, yang dilatih untuk memperkirakan bentuk dan wujud manusia. Spesialisasi ini memungkinkannya untuk mencakup segala hal, mulai dari barang konsumsi hingga potret dan pose, membuka pintu bagi aplikasi kreatif, komersial, dan ilmiah.

Bagaimana mereka berhasil melakukan segmentasi dan rekonstruksi dari satu gambar?

Kuncinya terletak pada arsitektur yang dilatih pada data bervolume besar untuk membangun hubungan langsung antara kata dan piksel. Model ini memahami instruksi tertulis dan sinyal visual (klik, titik, atau kotak) secara bersamaan, sehingga menerjemahkan permintaan ke area tertentu dari bingkai foto atau video.

Pemahaman bahasa ini melampaui nama kelas tradisional. SAM 3 dapat menangani instruksi, pengecualian, dan nuansa yang kompleks, memungkinkan kueri seperti "orang yang duduk yang tidak mengenakan topi merah". Kompatibilitas ini dengan petunjuk teks terperinci Ini memecahkan keterbatasan historis model sebelumnya, yang cenderung membingungkan konsep-konsep granular.

Kemudian SAM 3D berperan: dimulai dengan sebuah gambar, SAM 3D menghasilkan model tiga dimensi yang memungkinkan Anda melihat objek dari perspektif lain, menata ulang pemandangan, atau menerapkan efek 3D. Dalam praktiknya, SAM 3D terintegrasi dengan segmentasi sebelumnya untuk mengisolasi apa yang menarik minat kita dan, oleh karena itu, Membangun kembali dalam 3D tanpa langkah perantara yang rumit.

Fitur baru dibandingkan dengan generasi sebelumnya

SAM 1 dan SAM 2 merevolusi segmentasi dengan sangat bergantung pada isyarat visual. Namun, keduanya kesulitan ketika diminta memberikan interpretasi yang panjang atau instruksi bahasa alami yang bernuansa. SAM 3 mendobrak batasan tersebut dengan menggabungkan pemahaman multimodal yang menghubungkan teks dan visi secara lebih langsung.

Meta menyertai kemajuan dengan tolok ukur baru segmentasi kosakata terbukaDirancang untuk mengevaluasi segmentasi berbasis teks dalam skenario dunia nyata, dan dengan publikasi bobot SAM 3. Dengan cara ini, peneliti dan pengembang dapat mengukur dan membandingkan hasil antar metode secara ketat.

Dalam desain ulangnya, SAM 3D Objects secara signifikan meningkatkan pendekatan sebelumnya, menurut data yang dibagikan oleh Meta, yang juga merilis titik pemeriksaan, kode inferensi, dan set evaluasi. Bersamaan dengan SAM 3D Body, perusahaan ini merilis Objek Seniman SAM 3D, kumpulan data baru yang dibuat bersama seniman untuk menilai kualitas 3D dalam berbagai macam gambar.

Aplikasi dunia nyata dan kasus penggunaan langsung

Meta mengintegrasikan kemampuan ini ke dalam produk-produknya. Dalam "Edits", alat videonya untuk Instagram dan Facebook, segmentasi lanjutan sudah digunakan untuk menerapkan efek pada video. orang atau objek tertentu tanpa memengaruhi bagian gambar lainnya. Hal ini memudahkan perubahan latar belakang, filter selektif, atau transformasi tertarget tanpa mengorbankan kualitas.

Kita juga akan melihat fitur-fitur ini di Vibes, di aplikasi Meta AI, dan di platform meta.ai, dengan pengalaman pengeditan dan kreativitas baru. Dengan mengizinkan instruksi yang kompleks, pengguna dapat menjelaskan apa yang ingin mereka ubah, dan sistem akan meresponsnya. mengotomatiskan tugas pascaproduksi yang dulunya melelahkan.

Dalam dunia perdagangan, fitur "View in Room" di Facebook Marketplace sangat menonjol, membantu pengguna memvisualisasikan tampilan furnitur atau lampu di rumah mereka berkat model 3D yang dihasilkan secara otomatis. Fungsi ini mengurangi ketidakpastian dan meningkatkan keputusan pembelian, titik penting ketika kita tidak dapat melihat produk secara fisik.

Dampaknya meluas ke robotika, sains, pendidikan, dan kedokteran olahraga. Rekonstruksi 3D dari foto-foto sederhana dapat menjadi sumber daya bagi simulator, menciptakan model referensi anatomi, dan mendukung alat analisis yang sebelumnya membutuhkan peralatan khusus. Semua ini mendorong alur kerja baru dalam penelitian dan pelatihan.

Segment Anything Playground: uji dan ciptakan tanpa hambatan

Untuk mendemokratisasi akses, Meta telah meluncurkan Segmen Apa Saja PlaygroundSitus web tempat siapa pun dapat mengunggah gambar atau video dan bereksperimen dengan SAM 3 dan SAM 3D. Antarmukanya mengingatkan pada "tongkat ajaib" editor klasik, dengan keuntungan bahwa kita dapat tulis apa yang ingin kita pilih atau sempurnakan dengan beberapa klik.

Selain itu, Playground menawarkan templat siap pakai. Ini mencakup opsi praktis seperti wajah piksel atau plat nomordan efek yang lebih kreatif seperti jejak gerak atau lampu sorot. Hal ini memungkinkan Anda untuk mencapai tugas perlindungan identitas atau efek yang menarik perhatian dalam hitungan detik.

Selain segmentasi, pengguna dapat menjelajahi pemandangan dari perspektif baru, menyusunnya kembali, atau menerapkan efek tiga dimensi dengan SAM 3D. Tujuannya adalah agar siapa pun, tanpa pengetahuan sebelumnya tentang 3D atau visi komputer, dapat melakukannya. mencapai hasil yang dapat diterima dalam hitungan menit dan tanpa menginstal apa pun.

Model, sumber daya terbuka dan evaluasi

Meta telah merilis sumber daya untuk membantu komunitas mengembangkan teknologi terkini. Untuk SAM 3, berikut ini tersedia: bobot model beserta tolok ukur kosakata terbuka dan makalah teknis yang merinci arsitektur dan pelatihannya. Hal ini memfasilitasi reproduktifitas dan perbandingan yang adil.

Di bidang 3D, perusahaan telah merilis titik kontrol, kode inferensi, dan rangkaian penilaian generasi berikutnya. Dualitas SAM 3D Objects dan SAM 3D Body memungkinkan cakupan yang komprehensif. objek umum dan tubuh manusia dengan metrik yang disesuaikan dengan setiap kasus, sesuatu yang penting untuk menilai kesetiaan geometris dan visual.

Berkolaborasi dengan seniman untuk menciptakan Objek Seniman 3D SAM memperkenalkan kriteria estetika dan keragaman ke dalam evaluasi, bukan hanya kriteria teknis. Hal ini penting untuk menjadikan rekonstruksi 3D bermanfaat dalam lingkungan kreatif dan komersialdi mana kualitas yang dirasakan orang membuat perbedaan.

Segmentasi teks: contoh dan keuntungan

Dengan SAM 3, Anda cukup mengetik "topi baseball merah" dan sistem akan mengidentifikasi semua kecocokan pada gambar atau video. Akurasi ini membuka pintu bagi alur kerja pengeditan di mana cukup mengetik "topi baseball merah". kalimat pendek dan jelas untuk memisahkan elemen dan menerapkan efek atau transformasi padanya.

Kompatibilitas dengan model bahasa multimoda memungkinkan instruksi yang lebih kaya, termasuk pengecualian atau kondisi (“orang yang duduk tanpa mengenakan topi merah”). Fleksibilitas ini mengurangi jam kerja manual dan mengurangi kesalahan pemilihan yang sebelumnya dikoreksi secara manual.

Bagi tim yang membuat konten berskala besar, segmentasi berbasis teks mempercepat alur kerja dan memudahkan standarisasi hasil. Dalam pemasaran, misalnya, konsistensi dapat dipertahankan dengan menerapkan filter pada keluarga produk, sesuatu yang meningkatkan waktu dan biaya dari produksi.

Pengeditan media sosial dan kreativitas digital

Integrasi dalam Edit menghadirkan fitur pascaproduksi yang canggih bagi kreator Instagram dan Facebook. Filter yang sebelumnya memerlukan masker yang rumit kini dapat diterapkan dengan perintah teks dan beberapa klik, sambil tetap mempertahankan tepian dan detail halus bingkai demi bingkai yang stabil.

Untuk karya pendek, yang jadwal penerbitannya penting, otomatisasi ini sangat bermanfaat. Mengubah latar belakang klip, menyorot hanya satu orang, atau mengubah objek tertentu tidak lagi memerlukan alur kerja manual, dan itu mendemokratisasi efek yang sebelumnya hanya diperuntukkan bagi para profesional.

Sementara itu, Vibes dan meta.ai memperluas jangkauan pengalaman dengan penyuntingan berbasis bahasa dan kreativitas. Dengan kemampuan untuk mendeskripsikan secara detail apa yang kita inginkan, lompatan dari ide ke hasil menjadi lebih pendek, yang berarti iterasi yang lebih kreatif dalam waktu yang lebih singkat.

Perdagangan, sains, dan olahraga: lebih dari sekadar hiburan

"View in Room" di Facebook Marketplace menunjukkan nilai praktisnya: melihat lampu atau perabot di ruang tamu Anda sebelum membeli mengurangi pengembalian dan membangun kepercayaan. Di baliknya terdapat alur kerja yang, dimulai dengan gambar, menghasilkan Model 3D untuk visualisasi kontekstual.

Dalam sains dan pendidikan, merekonstruksi dari foto-foto sederhana mengurangi biaya pembuatan materi ajar dan simulator realistis. Model anatomi yang dihasilkan AI dapat digunakan sebagai alat pendukung di ruang kelas atau di... analisis biomekanikmempercepat persiapan konten.

Dalam kedokteran olahraga, menggabungkan analisis komposisi tubuh dengan rekonstruksi bentuk menyediakan alat untuk mempelajari postur dan gerakan tanpa peralatan mahal. Hal ini membuka kemungkinan untuk evaluasi yang lebih sering dan pemantauan jarak jauh.

Privasi, etika, dan praktik baik

Kekuatan alat-alat ini menuntut tanggung jawab. Memanipulasi gambar orang tanpa persetujuan mereka dapat menimbulkan masalah hukum dan etika. Sebaiknya hindari merekonstruksi gambar. wajah-wajah yang tidak dikenalJangan membagikan model tanpa izin dan jangan mengubah adegan sensitif yang dapat menimbulkan kebingungan atau bahaya.

Meta mengumumkan kontrol untuk mengurangi penyalahgunaan, tetapi tanggung jawab utama tetap berada di tangan pengguna teknologi. Disarankan untuk memverifikasi asal gambar, melindungi data pribadi, dan menilai konteks sebelum menerbitkan model 3D yang dapat mengungkap informasi pribadi.

Dalam lingkungan profesional, menetapkan kebijakan peninjauan dan persetujuan, serta memberi label yang jelas pada konten yang dihasilkan AI, berkontribusi pada penggunaan yang bertanggung jawab. Melatih tim tentang topik-topik ini membantu mencegah praktik buruk sudah merespons insiden dengan cepat.

Cara mengubah orang dan objek menjadi model 3D dengan SAM 3D: Cara memulai

Jika Anda ingin langsung bereksperimen, Segmen Anything Playground adalah pintu gerbangnya. Di sana, Anda dapat mengunggah foto atau video, mengetik apa yang ingin Anda pilih, dan mencoba opsi rekonstruksi 3D dalam antarmuka yang sederhana. Untuk profil teknis, [opsi lebih lanjut tersedia]. bobot, pos pemeriksaan, dan kode yang memfasilitasi pengujian yang disesuaikan.

Para peneliti, pengembang, dan seniman memiliki ekosistem yang mencakup tolok ukur, set data evaluasi, dan dokumentasi. Tujuannya adalah untuk membangun landasan bersama dalam mengukur kemajuan dan mempercepat adopsi di berbagai sektordari kreativitas digital hingga robotika.

Hal yang paling menarik adalah lompatan ini tidak hanya terbatas pada spesialis: kurva pembelajarannya semakin pendek, dan fitur-fiturnya menjangkau aplikasi sehari-hari. Semuanya menunjukkan bahwa pengeditan dan 3D akan terus diintegrasikan ke dalam alur kerja di mana bahasa alami adalah antarmuka.

Dengan SAM 3 dan SAM 3D, Meta menghadirkan segmentasi teks dan rekonstruksi gambar tunggal bagi para kreator dan tim dari berbagai skala. Berkat Playground, integrasi dalam Edits, sumber daya terbuka, dan aplikasi dalam perdagangan, pendidikan, dan olahraga, fondasi yang kokoh sedang dibangun. cara baru bekerja dengan gambar dan volume yang menggabungkan akurasi, aksesibilitas, dan tanggung jawab.