Meta'nın SAM 3 ve SAM 3D'si ile insanları ve nesneleri 3B'ye dönüştürün

¿SAM 3D ile insanları ve nesneleri 3 boyutlu modellere nasıl dönüştürebilirim? Görsellere uygulanan yapay zeka büyük bir etki yaratıyor ve artık nesneleri hassas bir şekilde kesmenin yanı sıra, tek bir görüntüyü 3B modele dönüştürün Birden fazla açıdan keşfetmeye hazır. Meta, gelişmiş ekipman veya bilgi gerektirmeden düzenleme, görsel dünya anlayışı ve üç boyutlu yeniden yapılandırmayı birleştiren yeni nesil araçlar sundu.

SAM 3 ve SAM 3D'den bahsediyoruz; algılama, izleme ve segmentasyonu iyileştirmek ve Nesnelerin ve insanların 3 boyutlu yeniden yapılandırılması Geniş bir kitleye. Önerileri, metin talimatlarını ve görsel sinyalleri aynı anda anlamayı içeriyor; böylece öğeleri kesmek, dönüştürmek ve yeniden oluşturmak, istediğimizi yazmak veya birkaç tıklama yapmak kadar kolay oluyor.

SAM 3 ve SAM 3D nedir ve aralarındaki farklar nelerdir?

Meta'nın Segment Anything ailesi iki yeni eklentiyle genişliyor: SAM 3 ve SAM 3D. İlki, fotoğraf ve videolardaki nesneleri yeni nesil doğrulukla tanımlamaya, izlemeye ve segmentlere ayırmaya odaklanırken, ikincisi Tek bir görüntüden 3B geometriyi ve görünümü yeniden oluştururinsanlar, hayvanlar veya günlük ürünler dahil.

İşlevsel fark açıktır: SAM 3, görsel içeriğin "anlaşılması ve ayrıştırılması" ile ilgilenirken, SAM 3D bu anlayışı üç boyutlu bir hacim "oluşturmak" için kullanır. Bu eşleştirme sayesinde, daha önce karmaşık yazılımlar veya özel tarayıcılar gerektiren bir iş akışı, çok daha erişilebilir ve hızlı.

Ayrıca, SAM 3 temel görsel komutlarla sınırlı değildir. Doğal dil destekli segmentasyon sağlayarak yorumlama yeteneği sağlar. çok kesin açıklamalarArtık sadece "araba" veya "top" kelimelerinden bahsetmiyoruz, aynı zamanda bir sahnede, hatta videonun tamamında bu unsurları tam olarak tespit etmek için "kırmızı beyzbol şapkası" gibi ifadeler kullanıyoruz.

Bu arada, SAM 3D iki tamamlayıcı versiyonda gelir: SAM 3D Nesneleri, odaklanmıştır nesneler ve sahnelerve insan şeklini ve formunu tahmin etmek üzere eğitilmiş SAM 3D Body. Bu uzmanlık, tüketici ürünlerinden portrelere ve pozlara kadar her şeyi kapsamasına olanak tanıyarak yaratıcı, ticari ve bilimsel uygulamalara kapı açıyor.

Tek bir görüntüden nasıl bölütleme ve yeniden yapılandırma yapmayı başarıyorlar?

Anahtar, kelimeler ve pikseller arasında doğrudan bağlantılar kurmak için büyük veri hacimleri üzerinde eğitilmiş bir mimaride yatıyor. Model, yazılı talimatları ve görsel sinyalleri (tıklamalar, noktalar veya kutular) aynı anda anlıyor, böylece bir isteği belirli alanlara çevirmek Bir fotoğrafın veya video karesinin.

Dilin bu şekilde anlaşılması, geleneksel sınıf adlarının ötesine geçer. SAM 3, karmaşık talimatları, dışlamaları ve nüansları işleyebilir ve "kırmızı şapka takmayan oturan insanlar" gibi sorguları etkinleştirebilir. Bu uyumluluk, detaylı metin istemleri Önceki modellerin ayrıntılı kavramları karıştırma eğiliminde olan tarihsel bir sınırlamasını çözer.

Ardından SAM 3D devreye giriyor: Bir görüntüyle başlayarak, nesneyi farklı perspektiflerden görüntülemenize, sahneyi yeniden düzenlemenize veya 3B efektler uygulamanıza olanak tanıyan üç boyutlu bir model oluşturuyor. Pratikte, bizi ilgilendiren şeyleri izole etmek ve dolayısıyla önceki segmentasyonla bütünleşerek, Karmaşık ara adımlar olmadan 3B olarak yeniden oluşturun.

Önceki nesillere kıyasla yeni özellikler

SAM 1 ve SAM 2, görsel ipuçlarına büyük ölçüde güvenerek segmentasyonda devrim yarattı. Ancak, uzun yorumlar veya ayrıntılı doğal dil talimatları sunmaları istendiğinde zorluk çektiler. SAM 3, aşağıdakileri birleştirerek bu engeli ortadan kaldırıyor: çok modlu anlayış metin ve görseli daha doğrudan birbirine bağlayan.

Meta, ilerlemeyi yeni bir kıyaslama ile destekliyor açık kelime dağarcığı segmentasyonuGerçek dünya senaryolarında metin kılavuzlu segmentasyonu değerlendirmek ve SAM 3 ağırlıklarının yayınlanmasıyla tasarlanmıştır. Bu sayede araştırmacılar ve geliştiriciler, yöntemler arasındaki sonuçları titizlikle ölçebilir ve karşılaştırabilir.

Meta tarafından paylaşılan verilere göre, SAM 3D Objects yeniden tasarımıyla önceki yaklaşımlara göre önemli ölçüde iyileştirmeler sunuyor. Meta ayrıca kontrol noktaları, çıkarım kodu ve bir değerlendirme seti de yayınlıyor. Şirket, SAM 3D Body'nin yanı sıra şunları da yayınlıyor: SAM 3D Sanatçı Nesneleri, sanatçılarla birlikte çeşitli görsellerdeki 3B kalitesini değerlendirmek için oluşturulmuş yeni bir veri seti.

Gerçek dünya uygulamaları ve anında kullanım örnekleri

Meta, bu yetenekleri ürünlerine entegre ediyor. Instagram ve Facebook için geliştirdiği video aracı "Edits"te, videolara efekt uygulamak için gelişmiş segmentasyon özelliği halihazırda kullanılıyor. belirli kişiler veya nesneler Görüntünün geri kalanını etkilemeden. Bu, kaliteyi feda etmeden arka plan değişikliklerini, seçici filtreleri veya hedefli dönüşümleri kolaylaştırır.

Bu özellikleri Vibes'ta, Meta AI uygulamasında ve meta.ai platformunda da yeni düzenleme ve yaratıcı deneyimlerle göreceğiz. Karmaşık talimatlara izin vererek, kullanıcı neyi değiştirmek istediğini açıklayabilir ve sistem buna göre yanıt verir. post prodüksiyon görevlerini otomatikleştirir eskiden çok zahmetliydi.

Ticarette, Facebook Marketplace'in "Odada Görüntüle" özelliği öne çıkıyor ve kullanıcıların otomatik olarak oluşturulan 3B modeller sayesinde mobilya veya lambaların evlerinde nasıl görüneceğini görselleştirmelerine yardımcı oluyor. Bu işlev, belirsizliği azaltır ve satın alma kararını iyileştirirÜrünü fiziksel olarak göremediğimiz durumlarda önemli bir nokta.

Etkisi robotik, bilim, eğitim ve spor hekimliğine kadar uzanıyor. Basit fotoğraflardan 3B rekonstrüksiyon, simülatörleri besleyebilir, anatomik referans modelleri oluşturabilir ve daha önce özel ekipman gerektiren analiz araçlarını destekleyebilir. Tüm bunlar, yeni iş akışları araştırma ve eğitimde.

Segment Anything Playground: Sürtünmesiz bir şekilde test edin ve yaratın

Erişimi demokratikleştirmek için Meta, Segment Anything Oyun AlanıHerkesin resim veya video yükleyip SAM 3 ve SAM 3D ile denemeler yapabileceği bir web sitesi. Arayüzü, klasik editörlerin "sihirli değneğini" andırıyor ve avantajı şu: seçmek istediğimizi yaz veya birkaç tıklamayla iyileştirin.

Ayrıca, Oyun Alanı kullanıma hazır şablonlar sunar. Bunlar arasında şunlar gibi pratik seçenekler de bulunur: pikselleştirilmiş yüzler veya plakalarve hareket izleri veya spot ışıkları gibi daha yaratıcı efektler. Bu sayede saniyeler içinde kimlik koruma görevleri veya göz alıcı efektler elde etmek mümkün.

Segmentasyonun ötesinde, kullanıcılar SAM 3D ile sahneleri yeni perspektiflerden keşfedebilir, yeniden düzenleyebilir veya üç boyutlu efektler uygulayabilir. Amaç, 3B veya bilgisayarlı görme konusunda önceden bilgisi olmayan herkesin bunu yapabilmesidir. kabul edilebilir sonuçlara ulaşmak Dakikalar içinde ve hiçbir şey kurmadan.

Modeller, açık kaynaklar ve değerlendirme

Meta, topluluğun en son teknolojiyi geliştirmesine yardımcı olmak için kaynaklar yayınladı. SAM 3 için aşağıdakiler mevcuttur: model ağırlıkları Açık bir kelime dağarcığı kıyaslaması ve mimari ve eğitimi ayrıntılı olarak açıklayan bir teknik makaleyle birlikte. Bu, tekrarlanabilirliği ve adil karşılaştırmaları kolaylaştırır.

Şirket, 3B cephesinde kontrol noktaları, çıkarım kodu ve yeni nesil bir değerlendirme paketi yayınladı. SAM 3B Nesneler ve SAM 3B Gövde'nin ikiliği, kapsamlı bir kapsama alanı sağlıyor. genel nesneler ve insan vücudu her duruma uyarlanmış metriklerle, geometrik ve görsel doğruluğu değerlendirmek için olmazsa olmaz bir şey.

SAM 3D Sanatçı Nesneleri oluşturmak için sanatçılarla iş birliği yapmak, değerlendirmeye yalnızca teknik değil, estetik ve çeşitlilik kriterleri de katar. Bu, 3B yeniden yapılandırmayı faydalı hale getirmenin anahtarıdır. yaratıcı ve ticari ortamlarİnsanların algıladığı kalitenin fark yarattığı yer.

Metin segmentasyonu: örnekler ve avantajlar

SAM 3 ile "kırmızı beyzbol şapkası" yazdığınızda sistem, bir görseldeki veya videodaki tüm eşleşmeleri tespit eder. Bu doğruluk, yalnızca "kırmızı beyzbol şapkası" yazmanın yeterli olduğu düzenleme iş akışlarının kapısını açar. kısa ve net cümleler öğeleri ayırmak ve onlara efektler veya dönüşümler uygulamak.

Çok modlu dil modelleriyle uyumluluk, istisnalar veya koşullar ("kırmızı bere takmayan oturan kişiler") dahil olmak üzere daha zengin talimatlara olanak tanır. Bu esneklik, manuel çalışma saatlerini azaltır ve seçim hataları Daha önce elle düzeltilmiş olanlar.

Ölçekli içerik oluşturan ekipler için metin odaklı segmentasyon, süreçleri hızlandırır ve sonuçların standartlaştırılmasını kolaylaştırır. Örneğin pazarlamada, bir ürün ailesine filtreler uygulanarak tutarlılık sağlanabilir; bu da zaman ve maliyetleri iyileştirir üretim.

Sosyal medya düzenleme ve dijital yaratıcılık

Edits'teki entegrasyon, Instagram ve Facebook içerik üreticilerine gelişmiş post prodüksiyon özellikleri getiriyor. Daha önce karmaşık maskeler gerektiren bir filtre, artık metin komutu ve birkaç tıklamayla uygulanabiliyor ve aynı zamanda kenarlar ve ince detaylar kare kare sabit.

Yayın programının önemli olduğu kısa parçalar için bu otomasyon altın değerinde. Bir klibin arka planını değiştirmek, yalnızca bir kişiyi vurgulamak veya belirli bir nesneyi dönüştürmek artık manuel iş akışları gerektirmiyor ve bu da... etkileri demokratikleştirir Daha önce sadece profesyonellere özel olan.

Bu arada, Vibes ve meta.ai, dil odaklı düzenleme ve yaratıcılıkla deneyim yelpazesini genişletiyor. Ne istediğimizi ayrıntılı olarak tanımlayabildiğimizde, fikirden sonuca geçiş süreci kısalıyor ve bu da şu anlama geliyor: daha yaratıcı yinelemeler daha az zamanda.

Ticaret, bilim ve spor: eğlencenin ötesinde

Facebook Marketplace'teki "Odada Görüntüle" özelliği, pratik değeri örnekliyor: Bir lambayı veya mobilya parçasını satın almadan önce oturma odanızda görmek, iadeleri azaltır ve güven oluşturur. Bunun arkasında, görsellerle başlayan ve Görselleştirme için 3B model bağlamsal.

Bilim ve eğitimde, basit fotoğraflardan yeniden yapılandırma, öğretim materyalleri ve gerçekçi simülatörler oluşturma maliyetini azaltır. Yapay zeka tarafından oluşturulan bir anatomik model, sınıflarda veya... destekleyici bir araç olarak kullanılabilir. biyomekanik analiziçerik hazırlamanın hızlandırılması.

Spor hekimliğinde, vücut kompozisyonu analizinin form rekonstrüksiyonu ile birleştirilmesi, pahalı ekipmanlara ihtiyaç duymadan duruşları ve hareketleri incelemek için araçlar sağlar. Bu, daha sık değerlendirmeler ve uzaktan izleme.

Gizlilik, etik ve iyi uygulamalar

Bu araçların gücü sorumluluk gerektirir. İnsanların görüntülerini rızaları olmadan değiştirmek yasal ve etik sorunlara yol açabilir. Görüntüleri yeniden oluşturmaktan kaçınılması önerilir. tanıdık olmayan yüzlerModelleri izinsiz paylaşmayın ve karışıklığa veya zarara neden olabilecek hassas sahneleri değiştirmeyin.

Meta, kötüye kullanımı azaltmak için kontroller duyurdu, ancak nihai sorumluluk teknolojiyi kullanan kişiye aittir. Görüntülerin kaynağını doğrulamanız, kişisel verileri korumanız ve bağlamı değerlendirmek Özel bilgileri ifşa edebilecek 3D modelleri yayınlamadan önce.

Profesyonel ortamlarda, inceleme ve onay politikaları oluşturmak ve yapay zeka tarafından üretilen içeriği açıkça etiketlemek, sorumlu kullanıma katkıda bulunur. Ekibi bu konularda eğitmek, kötü uygulamaları önlemek Olaylara zaten hızlı bir şekilde müdahale edebiliyoruz.

SAM 3D ile insanları ve nesneleri 3B modellere nasıl dönüştürebilirsiniz? Nasıl başlanır?

Hemen denemek isterseniz, Anything Playground Segment tam size göre. Burada bir fotoğraf veya video yükleyebilir, seçmek istediklerinizi yazabilir ve basit bir arayüzde 3B yeniden yapılandırma seçeneklerini deneyebilirsiniz. Teknik profiller için [daha fazla seçenek mevcuttur]. ağırlıklar, kontrol noktaları ve kod özelleştirilmiş testlerin yapılmasını kolaylaştırır.

Araştırmacılar, geliştiriciler ve sanatçılar, kıyaslama ölçütleri, değerlendirme veri kümeleri ve dokümantasyon içeren bir ekosisteme sahiptir. Amaç, ilerlemeyi ölçmek ve benimsenmeyi hızlandırmak için ortak bir zemin oluşturmaktır. farklı sektörlerdijital yaratıcılıktan robotiğe.

En ilginç olanı, bu sıçramanın uzmanlara özgü olmaması: öğrenme eğrisi kısalıyor ve özellikler günlük uygulamalara da ulaşıyor. Her şey, düzenleme ve 3B'nin iş akışlarına entegre olmaya devam edeceğini gösteriyor. doğal dil arayüzdür.

SAM 3 ve SAM 3D ile Meta, her ölçekteki içerik oluşturucu ve ekibe metin segmentasyonu ve tek görsel yeniden yapılandırma olanağı sunuyor. Playground, Edits entegrasyonu, açık kaynaklar ve ticaret, eğitim ve spor uygulamalarıyla sağlam bir temel oluşturuluyor. görüntüler ve hacimle çalışmanın yeni yolu Doğruluk, erişilebilirlik ve sorumluluğu bir araya getiren.