Meta SAM 3 və SAM 3D-ni təqdim edir: yeni nəsil vizual süni intellekt

Meta öhdəliyində daha bir addım atdı süni intellekt kompüter görmə üçün tətbiq edilir ilə SAM 3 və SAM 3D-nin işə salınması, Segment Anything ailəsini genişləndirən iki model və o Onlar foto və videolarla işləmə tərzimizi dəyişməyi hədəfləyirlərLaboratoriya təcrübəsi olaraq qalmayan şirkət bu vasitələrin həm peşəkarlar, həm də texniki bilikləri olmayan istifadəçilər tərəfindən istifadə olunmasını istəyir.

Bu yeni nəsil ilə Meta diqqət mərkəzindədir obyektin aşkarlanmasını və seqmentasiyasını yaxşılaşdırmaq və gətirməkdə daha geniş auditoriyaya üçölçülü rekonstruksiyaİspaniyada və Avropanın qalan hissəsində e-ticarət üçün video redaktəsindən məhsulun vizuallaşdırılmasına qədər şirkət bir ssenari nəzərdə tutur. Sadəcə olaraq nə etmək istədiyinizi sözlə təsvir etmək kifayətdir ki, AI ağır yüklərin çoxunu görsün..

SAM 3 əvvəlki versiyalarla müqayisədə nə təklif edir?

SAM 3 birbaşa təkamül kimi yerləşdirilib Meta-nın 2023 və 2024-cü illərdə təqdim etdiyi, SAM 1 və SAM 2 kimi tanınan seqmentləşdirmə modellərinin. Bu ilk versiyalar əsasən nöqtələr, qutular və ya maskalar kimi vizual işarələrdən istifadə etməklə, hər bir obyektə hansı piksellərin aid olduğunu müəyyən etməyə, SAM 2 vəziyyətində isə demək olar ki, real vaxt rejimində video boyunca obyektləri izləməyə yönəlmişdi.

İndi əsas yeni inkişaf SAM 3-ün başa düşməsidir zəngin və dəqiq mətn təklifləriyalnız ümumi etiketlər deyil. Halbuki "avtomobil" və ya "avtobus" kimi sadə terminlərdən istifadə olunmazdan əvvəl, yeni model daha spesifik təsvirlərə cavab verə bilir, məsələn, "sarı məktəb avtobusu" və ya "qırmızı avtomobil ikiqat park edilmiş".

Praktikada bu o deməkdir ki, belə bir şey yazmaq kifayətdir "qırmızı beysbol papağı" belə ki, sistem şəkil və ya videoda həmin təsvirə uyğun gələn bütün elementləri tapıb ayıra bilsin. Sözlərlə dəqiqləşdirmə qabiliyyəti xüsusilə faydalıdır peşəkar redaktə kontekstləri, reklam və ya məzmun təhlili, burada tez-tez çox xüsusi detallara baxmaq lazımdır.

Bundan əlavə, SAM 3 ilə inteqrasiya üçün nəzərdə tutulmuşdur böyük multimodal dil modelləriBu, sadə ifadələrdən kənara çıxmağa və mürəkkəb təlimatlardan istifadə etməyə imkan verir, məsələn: “İnsanlar oturur, amma qırmızı papaq geyinmir” və ya “kameraya baxan, lakin bel çantası olmayan piyadalar”. Bu tip təlimat son vaxtlara qədər kompüter görmə alətinə çevrilməsi çətin olan şərtləri və istisnaları özündə birləşdirir.

SAM 3 modelinin performansı və miqyası

Meta daha az görünən, lakin vacib hissəni vurğulamaq istədi: texniki performans və bilik miqyası modelin. Şirkətin məlumatlarına görə, SAM 3 H200 GPU-dan istifadə edərək təxminən 30 millisaniyə ərzində yüzdən çox aşkar edilmiş obyektlə bir təsviri emal edə bilir ki, bu da tələbkar iş axınları üçün lazım olan sürətə çox yaxındır.

Video vəziyyətində, firma sistemin performansını qoruduğuna zəmanət verir faktiki olaraq real vaxtda təxminən beş eyni vaxtda obyektlə işləyərkən, onu qısa sosial media kliplərindən tutmuş daha iddialı istehsal layihələrinə qədər hərəkət edən məzmunu izləmək və bölmək üçün əlverişli edir.

Bu davranışa nail olmaq üçün Meta daha çox təlim bazası qurdu 4 milyon unikal konsepsiyaBöyük həcmli məlumatların etiketlənməsinə kömək etmək üçün insan annotatorlarını AI modelləri ilə birləşdirərək, əl ilə və avtomatlaşdırılmış nəzarətin bu qarışığı dəqiqliyi və miqyası tarazlaşdırmaq məqsədi daşıyır - modelin Avropa, Latın Amerikası və digər bazar kontekstlərində müxtəlif girişlərə yaxşı cavab verməsini təmin etmək üçün açar.

Şirkət SAM 3-ü adlandırdığı çərçivəsində çərçivəyə alır İstənilən Kolleksiyanı SeqmentləşdirinSüni intellektin vizual anlayışını genişləndirmək üçün hazırlanmış modellər, etalonlar və resurslar ailəsi. Başlanğıc, sistemin təbii dildə ifadə olunan demək olar ki, hər hansı bir anlayışı başa düşmə dərəcəsinin ölçülməsinə yönəlmiş "açıq lüğət" seqmentasiyası üçün yeni meyarla müşayiət olunur.

Redaktələr, Vibes və digər Meta alətləri ilə inteqrasiya

Texniki komponentdən başqa, Meta artıq işə başlayıb SAM 3-ü xüsusi məhsullara inteqrasiya edin gündəlik istifadə üçün nəzərdə tutulmuşdur. İlk təyinat yerlərindən biri Redaktələr olacaq, onların video yaratma və redaktə proqramıdır, burada ideya istifadəçinin sadə mətn təsviri ilə konkret insanları və ya obyektləri seçə və effektlər, filtrlər və ya dəyişiklikləri yalnız kadrların həmin hissələrinə tətbiq edə bilər.

İnteqrasiya üçün başqa bir yol tapılacaq Vibes, Meta AI tətbiqi və meta.ai platforması daxilindəBu mühitdə mətn seqmentasiyası yeni redaktə və yaradıcı təcrübələr yaratmaq üçün generativ alətlərlə birləşdiriləcək, məsələn, İspaniyada və Avropanın qalan hissəsində çox populyar olan sosial şəbəkələr üçün nəzərdə tutulmuş fərdi fonlar, hərəkət effektləri və ya seçmə foto modifikasiyaları.

Şirkətin təklifi ondan ibarətdir ki, bu imkanlar peşəkar təhsillə məhdudlaşmasın, əksinə... müstəqil yaradıcılar, kiçik agentliklər və qabaqcıl istifadəçilər hər gün vizual məzmunla işləyənlər. Təbii dildə təsvirlər yazmaqla səhnələri bölmək bacarığı əl maskaları və təbəqələrə əsaslanan ənənəvi alətlərlə müqayisədə öyrənmə əyrisini azaldır.

Eyni zamanda, Meta xarici tərtibatçılara qarşı açıq bir yanaşma saxlayır və bunu təklif edir üçüncü tərəf tətbiqləri -redaktə alətlərindən tutmuş pərakəndə və ya təhlükəsizlik sahəsində video analitika üçün həllərə qədər- şirkətin istifadə siyasətlərinə riayət olunduğu müddətcə SAM 3-ə etibar edə bilərsiniz.

SAM 3D: Tək təsvirdən üçölçülü rekonstruksiya

Digər böyük xəbərdir SAM 3Dyerinə yetirmək üçün nəzərdə tutulmuş sistemdir üçölçülü rekonstruksiyalar 2D şəkillərdən başlayaraq. Fərqli bucaqlardan çoxlu çəkiliş tələb etmək əvəzinə, model tək bir fotoşəkildən etibarlı 3D təsvir yaratmağı hədəfləyir ki, bu da xüsusi skaner avadanlığı və ya iş axını olmayanlar üçün xüsusilə maraqlıdır.

SAM 3D fərqli funksiyaları olan iki açıq mənbəli modeldən ibarətdir: SAM 3D Obyektləriobyektlərin və səhnələrin yenidən qurulmasına diqqət yetirir və SAM 3D Bədən, insan şəklini və bədənini qiymətləndirməyə yönəldilmişdir. Bu ayırma sistemi məhsul kataloqlarından tutmuş sağlamlıq və ya idman tətbiqlərinə qədər çox fərqli istifadə hallarına uyğunlaşdırmağa imkan verir.

Meta-ya görə, SAM 3D Objects işarələri a Süni intellektlə idarə olunan 3D rekonstruksiyasında yeni performans göstəricisiəsas keyfiyyət göstəricilərində əvvəlki üsulları asanlıqla üstələyir. Nəticələri daha ciddi şəkildə qiymətləndirmək üçün şirkət SAM 3D Rəssam Obyektlərini yaratmaq üçün rəssamlarla işləmişdir, bu verilənlər bazası xüsusi olaraq müxtəlif təsvirlər və obyektlərdə rekonstruksiyaların dəqiqliyini və təfərrüatını qiymətləndirmək üçün nəzərdə tutulmuşdur.

Bu irəliləyiş kimi sahələrdə praktik tətbiqlərə qapı açır robototexnika, elm, idman tibb və ya rəqəmsal yaradıcılıqMəsələn, robototexnikada bu, sistemlərə qarşılıqlı əlaqədə olan obyektlərin həcmini daha yaxşı anlamağa kömək edə bilər; tibbi və ya idman tədqiqatlarında bədən duruşunu və hərəkətini təhlil etməyə kömək edə bilər; və yaradıcı dizaynda o, animasiya, video oyunlar və ya immersiv təcrübələr üçün 3D modellər yaratmaq üçün əsas kimi xidmət edir.

Artıq görünən ilk kommersiya tətbiqlərindən biri funksiyadır "Otaqda görünüş" de Facebook Marketplacebu, mebel parçasının və ya dekorativ obyektin satın almadan əvvəl real otaqda necə görünəcəyini təsəvvür etməyə imkan verir. SAM 3D ilə, Meta bu cür təcrübələri mükəmməlləşdirməyə çalışır, qarşılanmamış gözləntilərə görə məhsulların geri qaytarılması artan xərci təmsil etdiyi Avropa e-ticarəti üçün çox aktualdır.

Əlaqədar məqalə:

Meta-nın SAM 3 və SAM 3D ilə insanları və obyektləri 3D-yə çevirin

Seqment hər hansı bir oyun meydançası: təcrübə üçün mühit

İctimaiyyətə heç bir şey quraşdırmadan bu imkanları sınamağa icazə vermək üçün Meta Hər hansı bir oyun meydançasını seqmentləşdirinBu, şəkilləri və ya videoları yükləməyə və birbaşa brauzerinizdən SAM 3 və SAM 3D ilə sınaq keçirməyə imkan verən veb platformadır. İdeya ondan ibarətdir ki, vizual AI ilə maraqlanan hər kəs heç bir proqramlaşdırma biliyi olmadan mümkün olanı araşdıra bilər.

SAM 3 vəziyyətində, Playground istifadə edərək obyektləri seqmentləşdirməyə imkan verir qısa ifadələr və ya ətraflı təlimatlarMətnin və arzu olunarsa, vizual nümunələrin birləşdirilməsi. Bu, insanların, avtomobillərin, heyvanların və ya səhnənin xüsusi elementlərinin seçilməsi və onlara estetik effektlərdən tutmuş bulanıqlığa və ya fonun dəyişdirilməsinə qədər xüsusi hərəkətlərin tətbiqi kimi ümumi vəzifələri asanlaşdırır.

SAM 3D ilə işləyərkən platforma bunu mümkün edir Səhnələri yeni perspektivlərdən araşdırınobyektləri yenidən təşkil edin, üçölçülü effektlər tətbiq edin və ya alternativ görünüşlər yaradın. Dizayn, reklam və ya 3D məzmunda işləyənlər üçün o, başlanğıcdan mürəkkəb texniki vasitələrdən istifadə etmədən ideyaların prototiplənməsinin sürətli yolunu təklif edir.

Oyun meydançasına bir sıra da daxildir istifadəyə hazır şablonlar Bu xüsusiyyətlər çox xüsusi tapşırıqlar üçün nəzərdə tutulub. Onlara məxfilik səbəbi ilə pixelasiya edən üzlər və ya avtomobil nömrələri kimi praktiki seçimlər və videonun maraq dairəsində hərəkət izləri, seçmə işıqlandırma və ya işıqlandırma kimi vizual effektlər daxildir. Bu tip funksiyalar qısa videoların və sosial media məzmununun istehsalının daimi olduğu İspaniyada rəqəmsal media və məzmun yaradıcılarının iş axınları üçün xüsusilə uyğun ola bilər.

Tərtibatçılar və tədqiqatçılar üçün açıq resurslar

Meta'nın digər AI buraxılışlarında izlədiyi strategiyaya uyğun olaraq, şirkət əhəmiyyətli bir hissəsini buraxmaq qərarına gəldi. SAM 3 və SAM 3D ilə əlaqəli texniki resurslarBirincisi, model çəkiləri, açıq lüğət seqmentasiyasına yönəlmiş yeni meyar və onun işlənməsini təfərrüatlandıran texniki sənəd ictimaiyyətə açıqlanıb.

SAM 3D vəziyyətində aşağıdakılar mövcuddur: model yoxlama nöqtələri, nəticə kodu və qiymətləndirmə verilənlər toplusu gələcək nəsil. Bu verilənlər bazasına ənənəvi 3D istinad nöqtələrindən kənara çıxmağı hədəfləyən, daha böyük realizm və mürəkkəbliyi təmin edən, kompüter görmə və qrafika sahəsində çalışan Avropa tədqiqat qrupları üçün çox faydalı ola biləcək xeyli sayda şəkillər və obyektlər daxildir.

Meta həmçinin tərtibatçılara və şirkətlərə imkan yaratmaq məqsədi ilə Roboflow kimi annotasiya platformaları ilə əməkdaşlıq elan etdi. Öz məlumatlarınızı daxil edin və SAM 3-ü tənzimləyin xüsusi ehtiyaclara. Bu, memarlıq və ya bədii elementlərin dəqiq seqmentləşdirilməsinin vacib olduğu mədəni irs layihələri də daxil olmaqla, sənaye yoxlamasından tutmuş şəhər trafikinin təhlilinə qədər sektora xas həllərin qapısını açır.

Nisbətən açıq yanaşmaya üstünlük verərək, şirkət inkişaf etdirici ekosisteminin, universitetlər və startaplar -İspaniyada və Avropanın qalan hissəsində fəaliyyət göstərənlər də daxil olmaqla- bu texnologiyalarla təcrübə edə, onları öz məhsullarına inteqrasiya edə və nəticədə Meta-nın daxildə inkişaf etdirə biləcəyi imkanlardan kənara çıxan istifadə hallarına töhfə verə bilər.

SAM 3 və SAM 3D ilə Meta birləşdirmək məqsədi daşıyır daha çevik və əlçatan vizual AI platformasıburada mətnlə idarə olunan seqmentasiya və tək təsvirdən 3D rekonstruksiya artıq yüksək ixtisaslaşmış komandalar üçün nəzərdə tutulmuş imkanlar deyil. Potensial təsir dil, kompüter görmə və yaradıcılığın birləşməsinin sadəcə texnoloji vəd deyil, standart iş alətinə çevrildiyi kontekstdə gündəlik video montajından elm, sənaye və e-ticarətdə qabaqcıl tətbiqlərə qədər uzanır.

Alberto navarro

Mən öz "geek" maraqlarını peşəyə çevirmiş texnologiya həvəskarıyam. Mən həyatımın 10 ilindən çoxunu qabaqcıl texnologiyadan istifadə edərək və hər cür proqramlarla maraqlanaraq sərf etmişəm. İndi mən kompüter texnologiyası və video oyunları üzrə ixtisaslaşmışam. Bunun səbəbi, 5 ildən artıqdır ki, texnologiya və video oyunlarla bağlı müxtəlif saytlar üçün yazılar yazıram, sizə lazım olan məlumatları hamı üçün başa düşülən dildə verməyə çalışan məqalələr hazırlayıram.

Hər hansı bir sualınız varsa, mənim biliklərim Windows əməliyyat sistemi, eləcə də mobil telefonlar üçün Android ilə əlaqəli hər şeyi əhatə edir. Və mənim öhdəliyim sizədir, mən həmişə bir neçə dəqiqə sərf etməyə və bu internet dünyasında yarana biləcək bütün suallarınızı həll etməyə kömək etməyə hazıram.