Meta-н SAM 3 болон SAM 3D ашиглан хүмүүс болон объектуудыг 3D болгон хувирга

¿SAM 3D ашиглан хүмүүс болон объектуудыг хэрхэн 3D загвар болгон хувиргах вэ? Дүрслэлд ашигласан хиймэл оюун ухаан нь асар их нөлөө үзүүлж байгаа бөгөөд одоо объектуудыг нарийн зүсэхээс гадна үүнийг хийх боломжтой болсон. нэг зургийг 3D загвар болгон хувиргах Олон өнцгөөс судлахад бэлэн байна. Мета нь орчин үеийн тоног төхөөрөмж, мэдлэг шаардалгүйгээр засварлах, харааны ертөнцийг ойлгох, гурван хэмжээст сэргээн босголтыг холбох шинэ үеийн хэрэгслүүдийг нэвтрүүлсэн.

Бид SAM 3 ба SAM 3D-ийн тухай ярьж байна, энэ нь илрүүлэх, хянах, сегментчиллийг сайжруулах, мөн чанарыг бий болгох зорилгоор гарч ирсэн хоёр загвар юм. Объект ба хүмүүсийг 3D сэргээн босгох өргөн хүрээний үзэгчдэд. Тэдний санал бол текстийн заавар болон харааны дохиог нэгэн зэрэг ойлгох явдал бөгөөд ингэснээр элементүүдийг зүсэх, хувиргах, дахин бүтээх нь бидний хүссэн зүйлийг бичих эсвэл хэдхэн товшилт хийхтэй адил хялбар юм.

SAM 3 ба SAM 3D гэж юу вэ, тэд юугаараа ялгаатай вэ?

Meta-ийн Segment Anything гэр бүл нь SAM 3 ба SAM 3D гэсэн хоёр шинэ нэмэлтээр өргөжсөн. Эхнийх нь зураг, видеон дээрх объектуудыг дараагийн үеийн нарийвчлалтайгаар тодорхойлох, хянах, сегментчилахад чиглэгддэг. Нэг зурагнаас 3D геометр болон гадаад төрхийг сэргээнэхүн, амьтан эсвэл өдөр тутмын бүтээгдэхүүн гэх мэт.

Функциональ ялгаа нь тодорхой: SAM 3 нь харааны агуулгыг "ойлгох, салгах" үйлдлийг зохицуулдаг бөгөөд SAM 3D нь гурван хэмжээст эзлэхүүнийг "бүтээхэд" энэ ойлголтыг ашигладаг. Энэ хосолсоноор өмнө нь нарийн төвөгтэй програм хангамж эсвэл тусгай сканнер шаардлагатай байсан ажлын урсгал бий болно илүү хүртээмжтэй, хурдан.

Цаашилбал, SAM 3 нь үндсэн харааны сануулгуудаар хязгаарлагдахгүй. Энэ нь орчуулах чадвартай байгалийн хэлээр удирдуулсан сегментчлэлийг өгдөг маш нарийн тодорхойлолтуудБид зөвхөн "машин" эсвэл "бөмбөг"-ийн тухай ярихаа больсон, харин "улаан бейсболын малгай" гэх мэт хэллэгүүдийн тухай, тэр ч байтугай видео бичлэгийн туршид дүр зураг дээрх элементүүдийг яг таг олохын тулд ярьдаг.

Үүний зэрэгцээ, SAM 3D нь нэмэлт хоёр хувилбартай байдаг: SAM 3D объектууд. объект ба үзэгдэлболон SAM 3D Body, хүний ​​хэлбэр, биеийг тооцоолоход сургагдсан. Энэхүү мэргэшил нь өргөн хэрэглээний бараа бүтээгдэхүүнээс эхлээд хөрөг зураг, поз зэрэг бүх зүйлийг хамарч, бүтээлч, арилжааны болон шинжлэх ухааны хэрэглээний үүд хаалгыг нээж өгдөг.

Тэд нэг зурагнаас хэрхэн сегментчилж, дахин бүтээж чадаж байна вэ?

Гол нь үг болон пикселийн хооронд шууд холбоо тогтоохын тулд их хэмжээний өгөгдөл дээр бэлтгэгдсэн архитектурт оршдог. Загвар нь бичсэн заавар болон харааны дохиог (товшилт, цэг эсвэл хайрцаг) нэгэн зэрэг ойлгодог тул хүсэлтийг тодорхой хэсэгт орчуулах гэрэл зураг эсвэл видео хүрээний.

Хэлний талаарх энэхүү ойлголт нь уламжлалт ангийн нэрнээс давж гардаг. SAM 3 нь нарийн төвөгтэй зааварчилгаа, хасалт, нарийн ширийн зүйлийг зохицуулж, "улаан малгай өмсөөгүй хүмүүс сууж байгаа" гэх мэт асуултуудыг идэвхжүүлдэг. Энэ нийцтэй байдал дэлгэрэнгүй текст сануулга Энэ нь мөхлөгт ойлголтыг төөрөгдүүлэх хандлагатай байсан өмнөх загваруудын түүхэн хязгаарлалтыг шийддэг.

Дараа нь SAM 3D ажиллаж эхэлнэ: зурагнаас эхлээд объектыг өөр өнцгөөс харах, дүр зургийг дахин зохион байгуулах эсвэл 3D эффектийг хэрэгжүүлэх боломжийг олгодог гурван хэмжээст загварыг бий болгодог. Практикт энэ нь бидний сонирхож буй зүйлийг тусгаарлахын тулд өмнөх сегментчилэлтэй нэгтгэдэг тул Завсрын нарийн төвөгтэй алхамгүйгээр 3D хэлбэрээр дахин бүтээнэ үү.

Өмнөх үетэй харьцуулахад шинэ боломжууд

SAM 1 ба SAM 2 нь харааны дохиололд тулгуурлан сегментчлэлд хувьсгал хийсэн. Гэсэн хэдий ч тэд урт тайлбар эсвэл байгалийн хэлний нарийн зааварчилгаа өгөхийг хүсэхэд хэцүү байсан. SAM 3 нь уг саадыг давж гарна олон талт ойлголт Энэ нь текст болон алсын харааг илүү шууд холбодог.

Мета ахиц дэвшлийг шинэ жишиг үзүүлэлтээр дагалддаг нээлттэй үгсийн санг сегментчилэлБодит нөхцөл байдалд текстээр удирдуулсан сегментчлэлийг үнэлэхэд зориулагдсан бөгөөд SAM 3 жинг нийтэлсэн. Ийм байдлаар судлаачид болон хөгжүүлэгчид үр дүнг аргуудын хооронд нарийн хэмжиж, харьцуулж чаддаг.

Meta-гийн хуваалцсан мэдээллээс үзэхэд SAM 3D объектуудыг дахин дизайн хийхдээ өмнөх арга барилыг эрс сайжруулж, хяналтын цэг, дүгнэлтийн код, үнэлгээний багцыг гаргадаг. SAM 3D Body-ийн хажуугаар тус компани худалдаанд гаргаж байна SAM 3D зураач объектууд, олон төрлийн зургийн 3D чанарыг үнэлэхийн тулд уран бүтээлчидтэй хамтран бүтээсэн шинэ мэдээллийн багц.

Бодит хэрэглээний програмууд болон шууд ашиглах тохиолдлууд

Мета эдгээр чадваруудыг бүтээгдэхүүндээ нэгтгэж байна. Instagram болон Facebook-ийн видео хэрэгсэл болох "Засварлах" хэсэгт видеонуудад эффект хэрэглэхийн тулд дэвшилтэт сегментчлэлийг аль хэдийн ашиглаж байна. тодорхой хүмүүс эсвэл объектууд зургийн үлдсэн хэсэгт нөлөөлөхгүйгээр. Энэ нь чанарыг алдагдуулахгүйгээр дэвсгэр өөрчлөлт, сонгомол шүүлтүүр эсвэл зорилтот хувиргалтыг хөнгөвчлөх болно.

Мөн бид эдгээр функцуудыг Vibes, Meta AI програм болон meta.ai платформ дээр шинэ засварлах, бүтээлч туршлагаар харах болно. Нарийн төвөгтэй зааврыг зөвшөөрснөөр хэрэглэгч юу өөрчлөхийг хүсч байгаагаа тайлбарлах боломжтой бөгөөд систем нь үүний дагуу хариу үйлдэл үзүүлэх болно. үйлдвэрлэлийн дараах ажлуудыг автоматжуулдаг Энэ нь урьд өмнө нь хөдөлмөрлөдөг байсан.

Худалдааны салбарт Facebook Marketplace-ийн "Өрөөнд харах" онцлог нь хэрэглэгчдэд автоматаар үүсгэсэн 3D загваруудын ачаар тавилга эсвэл чийдэнг гэртээ хэрхэн харагдахыг төсөөлөхөд тусалдаг. Энэ функц нь тодорхойгүй байдлыг багасгаж, худалдан авах шийдвэрийг сайжруулдаг, бид бүтээгдэхүүнийг биечлэн харж чадахгүй байх гол цэг.

Үр нөлөө нь робот техник, шинжлэх ухаан, боловсрол, спортын анагаах ухаанд хүрч байна. Энгийн гэрэл зургуудаас авсан 3D сэргээн босголт нь симуляторуудыг тэжээж, анатомийн лавлагаа загваруудыг бий болгож, урьд өмнө нь тусгай тоног төхөөрөмж шаарддаг байсан шинжилгээний хэрэгслүүдийг дэмждэг. Энэ бүхэн нь сурталчлах болно шинэ ажлын урсгалууд судалгаа, сургалтын чиглэлээр.

Тоглоомын талбайг хэсэгчлэн ангилах: туршилт хийх, үрэлтгүйгээр бүтээх

Хандалтыг ардчилсан болгохын тулд Мета эхлүүлсэн Тоглоомын талбайг сегментчилЗураг, видеог байршуулж, SAM 3 болон SAM 3D-г туршиж үзэх боломжтой вэбсайт. Түүний интерфэйс нь сонгодог редакторуудын "шидэт саваа"-г санагдуулам бөгөөд давуу талтай. бидний сонгохыг хүссэн зүйлээ бичнэ үү эсвэл хэдхэн товшилтоор сайжруул.

Нэмж дурдахад Playground нь ашиглахад бэлэн загваруудыг санал болгодог. Үүнд практик сонголтууд орно пиксел царай эсвэл машины дугаархөдөлгөөнт зам, гэрэлтүүлэг зэрэг илүү бүтээлч эффектүүд. Энэ нь таны хувийн мэдээллийг хамгаалах даалгавар эсвэл анхаарал татахуйц эффектийг секундын дотор хийх боломжтой болгодог.

Хэрэглэгчид сегментчиллээс гадна үзэгдлүүдийг шинэ өнцгөөс судалж, тэдгээрийг дахин цэгцлэх эсвэл SAM 3D-ийн тусламжтайгаар гурван хэмжээст эффектүүдийг ашиглах боломжтой. Зорилго нь 3D эсвэл компьютерийн харааны талаар урьдчилж мэдлэггүй хүн бүр үүнийг хийх чадвартай байх явдал юм. хүлээн зөвшөөрөгдөх үр дүнд хүрэх минутын дотор, юу ч суулгахгүйгээр.

Загвар, нээлттэй эх сурвалж, үнэлгээ

Мета нь нийгэмд хамгийн сүүлийн үеийн дэвшилтэт байдлыг ахиулахад туслах нөөцийг гаргасан. SAM 3-ын хувьд дараах зүйлсийг ашиглах боломжтой: загвар жин нээлттэй толь бичгийн жишиг, архитектур, сургалтын талаар дэлгэрэнгүй бичсэн техникийн баримт бичгийн хамт. Энэ нь дахин давтагдах, шударга харьцуулалтыг хөнгөвчилдөг.

3D фронтод компани нь хяналтын цэгүүд, дүгнэлтийн код, дараагийн үеийн үнэлгээний багцыг гаргасан. SAM 3D Objects болон SAM 3D Body хоёрдмол байдал нь иж бүрэн хамрах боломжийг олгодог. ерөнхий объектууд болон хүний ​​бие тохиолдол бүрт тохирсон хэмжигдэхүүнтэй, геометрийн болон харааны үнэнч байдлыг үнэлэхэд зайлшгүй шаардлагатай зүйл.

SAM 3D Artist Objects бүтээхийн тулд уран бүтээлчидтэй хамтран ажиллах нь үнэлгээнд зөвхөн техникийн бус гоо зүйн болон олон талт байдлын шалгуурыг нэвтрүүлдэг. Энэ нь 3D сэргээн босголтыг ашигтай болгох түлхүүр юм бүтээлч, арилжааны орчинХүмүүсийн хүлээн авсан чанар нь ялгааг бий болгодог.

Текстийн сегментчилэл: жишээ ба давуу тал

SAM 3-ын тусламжтайгаар та "улаан бейсболын малгай" гэж бичих боломжтой бөгөөд систем нь зураг эсвэл видеон дээрх бүх тохирохыг тодорхойлох болно. Энэхүү нарийвчлал нь "улаан бейсболын малгай" гэж бичихэд л хангалттай ажлын урсгалыг засварлах боломжийг нээж өгдөг. богино бөгөөд тодорхой өгүүлбэрүүд элементүүдийг салгаж, тэдгээрт эффект эсвэл хувиргалтыг хэрэглэх.

Мультимодал хэлний загвартай нийцтэй байх нь хасалт, нөхцөл ("улаан малгай өмсөөгүй хүмүүс") зэрэг илүү баялаг зааварчилгааг өгдөг. Энэ уян хатан байдал нь гар аргаар ажиллах цагийг багасгаж, багасдаг сонголтын алдаа Өмнө нь гараар зассан.

Агуулгыг масштабаар бүтээдэг багуудын хувьд текстэд тулгуурласан сегментчилэл нь дамжуулах шугамыг хурдасгаж, үр дүнг стандартчилахад хялбар болгодог. Жишээлбэл, маркетингийн хувьд бүтээгдэхүүний гэр бүлд шүүлтүүр хэрэглэх замаар тууштай байдлыг хадгалах боломжтой цаг хугацаа, зардлыг сайжруулдаг үйлдвэрлэлийн.

Сошиал медиа засварлах, дижитал бүтээлч байдал

Edits-ийн интеграцчилал нь Instagram болон Facebook-ийн бүтээгчдэд үйлдвэрлэлийн дараах дэвшилтэт боломжуудыг авчирдаг. Өмнө нь нарийн төвөгтэй маск шаарддаг шүүлтүүрийг одоо текст команд болон хэдхэн товшилтоор ашиглах боломжтой ирмэг ба нарийн ширийн зүйлс жааз тус бүрээр тогтвортой.

Хэвлэлийн хуваарь чухал байдаг богино хэсгүүдийн хувьд энэ автоматжуулалт нь алт юм. Клипийн арын дэвсгэрийг өөрчлөх, зөвхөн нэг хүнийг тодруулах, эсвэл тодорхой объектыг өөрчлөхөд гарын авлагын ажлын урсгалыг шаардахаа больсон. үр нөлөөг ардчилсан болгодог Энэ нь өмнө нь зөвхөн мэргэжлийн хүмүүст зориулагдсан байсан.

Үүний зэрэгцээ Vibes болон meta.ai нь хэл дээр тулгуурласан засварлах, бүтээлч байдлын туршлагаа өргөжүүлж байна. Бидний хүсч буй зүйлийг нарийвчлан тайлбарлах чадвартай болсноор санаанаас үр дүнд хүрэх үсрэлт богиносдог бөгөөд энэ нь илүү бүтээлч давталт богино хугацаанд.

Худалдаа, шинжлэх ухаан, спорт: зугаа цэнгэлээс гадна

Facebook Marketplace дээрх "Өрөөнд харах" нь бодит үнэ цэнийг жишээ болгон харуулж байна: худалдан авахаасаа өмнө зочны өрөөндөө чийдэн эсвэл тавилга харах нь өгөөжийг бууруулж, итгэлийг бий болгодог. Үүний цаана зурагнаас эхлээд а Үзүүлэн харуулах 3D загвар контекст.

Шинжлэх ухаан, боловсролын салбарт энгийн гэрэл зургаас сэргээн засварлах нь сургалтын хэрэглэгдэхүүн, бодит симулятор бүтээх зардлыг бууруулдаг. Хиймэл оюун ухаанаар үүсгэсэн анатомийн загварыг анги танхимд эсвэл... биомеханик шинжилгээагуулгын бэлтгэлийг хурдасгах.

Спортын анагаах ухаанд биеийн бүтцийн шинжилгээг хэлбэрийг сэргээн засварлахтай хослуулах нь үнэтэй тоног төхөөрөмжгүйгээр биеийн байрлал, хөдөлгөөнийг судлах хэрэгсэл болдог. Энэ нь боломжуудыг нээж байна илүү олон удаа үнэлгээ хийх болон алсаас хянах.

Нууцлал, ёс зүй, сайн туршлага

Эдгээр хэрэгслийн хүч нь хариуцлага шаарддаг. Хүмүүсийн зургийг зөвшөөрөлгүйгээр өөрчилснөөр хууль эрх зүй, ёс зүйн асуудал үүсдэг. Зургийг дахин бүтээхээс зайлсхийхийг зөвлөж байна. танихгүй царайнуудЗагваруудыг зөвшөөрөлгүйгээр хуваалцаж болохгүй, төөрөгдөл, хор хөнөөл учруулж болзошгүй эмзэг үзэгдлүүдийг бүү өөрчил.

Мета буруу хэрэглээг бууруулах хяналтыг зарладаг боловч эцсийн хариуцлага нь технологийн хэрэглэгчдэд ногддог. Зургийн гарал үүслийг шалгах, хувийн мэдээллийг хамгаалах, мөн нөхцөл байдлыг үнэлэх хувийн мэдээллийг ил болгож болох 3D загварыг нийтлэхээс өмнө.

Мэргэжлийн орчинд хяналт, зөвшөөрлийн бодлогыг тогтоож, хиймэл оюунаар үүсгэсэн контентыг тодорхой шошголох нь хариуцлагатай хэрэглээнд хувь нэмэр оруулдаг. Эдгээр сэдвээр багийг сургах нь тусалдаг муу зуршлаас урьдчилан сэргийлэх тохиолдлуудад аль хэдийн хурдан хариу үйлдэл үзүүлэх.

SAM 3D ашиглан хүмүүс болон объектуудыг хэрхэн 3D загвар болгон хувиргах вэ: Хэрхэн эхлүүлэх вэ

Хэрэв та нэн даруй туршихыг хүсч байвал ямар ч тоглоомын талбайн хэсэг нь гарц юм. Тэнд та зураг эсвэл видео байршуулж, сонгохыг хүссэн зүйлээ бичиж, энгийн интерфэйсийн дотор 3D сэргээн босгох сонголтыг туршиж үзэх боломжтой. Техникийн профайлын хувьд [нэмэлт сонголтууд байдаг]. жин, хяналтын цэг, код тохируулсан туршилтыг хөнгөвчлөх.

Судлаачид, хөгжүүлэгчид, уран бүтээлчид жишиг үзүүлэлт, үнэлгээний мэдээллийн багц, баримт бичгийг агуулсан экосистемтэй байдаг. Зорилго нь ахиц дэвшлийг хэмжих, хүүхэд үрчлэн авах ажлыг хурдасгах нийтлэг үндэслэлийг бий болгох явдал юм өөр өөр салбарууддижитал бүтээлч байдлаас робот техник хүртэл.

Хамгийн сонирхолтой нь энэ үсрэлт нь мэргэжилтнүүдэд зориулагдаагүй: суралцах муруй багасч, функцууд нь өдөр тутмын програмуудад хүрч байна. Бүх зүйл засварлах болон 3D нь ажлын урсгалд нэгтгэгдэх болно гэдгийг харуулж байна байгалийн хэл нь интерфейс юм.

SAM 3 болон SAM 3D-ийн тусламжтайгаар Мета нь бүх хэмжээтэй бүтээгчид болон багуудад текстийн сегментчилэл, нэг дүрсийг сэргээн засварлах боломжийг олгодог. Тоглоомын талбай, Засварт нэгтгэх, нээлттэй эх сурвалж, худалдаа, боловсрол, спортын хэрэглээний программуудын хооронд бат бөх суурь тавигдаж байна. зураг, эзлэхүүнтэй ажиллах шинэ арга нарийвчлал, хүртээмж, хариуцлага зэргийг хослуулсан.