แปลงบุคคลและวัตถุเป็น 3 มิติด้วย SAM 3 และ SAM 3D ของ Meta

¿จะแปลงผู้คนและวัตถุเป็นโมเดล 3 มิติด้วย SAM 3D ได้อย่างไร ปัญญาประดิษฐ์ที่นำมาใช้กับภาพกำลังสร้างผลกระทบอย่างมาก และตอนนี้ นอกเหนือจากการตัดวัตถุออกอย่างแม่นยำแล้ว ยังสามารถทำได้อีกด้วย แปลงภาพเดี่ยวเป็นโมเดล 3 มิติ พร้อมสำรวจจากหลากหลายมุมมอง Meta ได้เปิดตัวเครื่องมือรุ่นใหม่ที่เชื่อมโยงการแก้ไข การทำความเข้าใจโลกด้วยภาพ และการสร้างภาพสามมิติเข้าด้วยกัน โดยไม่ต้องใช้อุปกรณ์หรือความรู้ขั้นสูง

เรากำลังพูดถึง SAM 3 และ SAM 3D ซึ่งเป็นสองโมเดลที่เข้ามาเพื่อปรับปรุงการตรวจจับ การติดตาม และการแบ่งส่วน และเพื่อนำ การสร้างภาพสามมิติของวัตถุและบุคคล ให้กับผู้ชมในวงกว้าง ข้อเสนอของพวกเขาเกี่ยวข้องกับการทำความเข้าใจคำสั่งข้อความและสัญญาณภาพไปพร้อมๆ กัน ดังนั้นการตัด การแปลง และสร้างองค์ประกอบใหม่จึงง่ายเหมือนการพิมพ์สิ่งที่เราต้องการหรือคลิกเพียงไม่กี่ครั้ง

SAM 3 และ SAM 3D คืออะไร และแตกต่างกันอย่างไร?

กลุ่มผลิตภัณฑ์ Segment Anything ของ Meta ขยายตัวด้วยผลิตภัณฑ์ใหม่สองรายการ ได้แก่ SAM 3 และ SAM 3D โดยผลิตภัณฑ์แรกเน้นที่การระบุ ติดตาม และแบ่งส่วนวัตถุในภาพถ่ายและวิดีโอด้วยความแม่นยำระดับถัดไป ในขณะที่ผลิตภัณฑ์ที่สอง สร้างรูปทรงเรขาคณิตและรูปลักษณ์ 3 มิติใหม่จากภาพเดียวรวมถึงผู้คน สัตว์ หรือผลิตภัณฑ์ในชีวิตประจำวัน

ความแตกต่างด้านฟังก์ชันการทำงานนั้นชัดเจน: SAM 3 จัดการ "การทำความเข้าใจและการแยก" เนื้อหาภาพ และ SAM 3D ใช้ความเข้าใจนั้นเพื่อ "สร้าง" ปริมาตรสามมิติ ด้วยการจับคู่นี้ เวิร์กโฟลว์ที่ก่อนหน้านี้ต้องใช้ซอฟต์แวร์ที่ซับซ้อนหรือสแกนเนอร์เฉพาะทางจะกลายเป็น เข้าถึงได้มากขึ้นและรวดเร็วยิ่งขึ้น.

ยิ่งไปกว่านั้น SAM 3 ไม่ได้จำกัดอยู่แค่คำแนะนำภาพพื้นฐานเท่านั้น แต่ยังให้การแบ่งส่วนตามภาษาธรรมชาติที่สามารถตีความได้ คำอธิบายที่แม่นยำมากเราไม่พูดถึงแค่คำว่า "รถ" หรือ "ลูกบอล" อีกต่อไป แต่เราจะพูดถึงวลีเช่น "หมวกเบสบอลสีแดง" เพื่อค้นหาองค์ประกอบเหล่านั้นอย่างแม่นยำในฉาก แม้กระทั่งตลอดทั้งวิดีโอ

ในขณะเดียวกัน SAM 3D มีสองรูปแบบที่เสริมกัน: SAM 3D Objects ซึ่งเน้นที่ วัตถุและฉากและ SAM 3D Body ซึ่งได้รับการฝึกฝนเพื่อประเมินรูปร่างและสรีระของมนุษย์ ความเชี่ยวชาญนี้ช่วยให้ครอบคลุมทุกอย่าง ตั้งแต่สินค้าอุปโภคบริโภคไปจนถึงภาพบุคคลและท่าทางต่างๆ เปิดประตูสู่การประยุกต์ใช้งานด้านความคิดสร้างสรรค์ เชิงพาณิชย์ และวิทยาศาสตร์

พวกเขาจัดการแบ่งส่วนและสร้างใหม่จากภาพเดียวได้อย่างไร

กุญแจสำคัญอยู่ที่สถาปัตยกรรมที่ฝึกฝนจากข้อมูลปริมาณมากเพื่อสร้างการเชื่อมโยงโดยตรงระหว่างคำและพิกเซล แบบจำลองนี้เข้าใจคำสั่งที่เขียนขึ้นและสัญญาณภาพ (คลิก จุด หรือกล่อง) ได้พร้อมกัน ดังนั้น แปลคำขอไปยังพื้นที่เฉพาะ ของกรอบรูปหรือวีดีโอ

ความเข้าใจภาษาแบบนี้ครอบคลุมมากกว่าชื่อคลาสแบบดั้งเดิม SAM 3 สามารถจัดการคำสั่งที่ซับซ้อน การแยก และความแตกต่างเล็กๆ น้อยๆ ได้ ทำให้สามารถค้นหาข้อมูลเช่น "คนนั่งลงที่ไม่ได้สวมหมวกสีแดง" ได้ ความเข้ากันได้นี้กับ ข้อความแจ้งเตือนโดยละเอียด มันแก้ไขข้อจำกัดทางประวัติศาสตร์ของโมเดลก่อนหน้าซึ่งมีแนวโน้มที่จะสร้างความสับสนให้กับแนวคิดเชิงรายละเอียด

จากนั้น SAM 3D จะเข้ามามีบทบาท: เริ่มต้นด้วยภาพ จากนั้นจะสร้างแบบจำลองสามมิติที่ช่วยให้คุณมองเห็นวัตถุจากมุมมองอื่นๆ จัดระเบียบฉากใหม่ หรือใช้เอฟเฟกต์ 3 มิติ ในทางปฏิบัติ SAM 3D จะผสานรวมกับการแบ่งส่วนก่อนหน้าเพื่อแยกสิ่งที่เราสนใจ และด้วยเหตุนี้ สร้างใหม่ใน 3D โดยไม่ต้องมีขั้นตอนกลางที่ซับซ้อน.

ฟีเจอร์ใหม่เมื่อเทียบกับรุ่นก่อนหน้า

SAM 1 และ SAM 2 ปฏิวัติการแบ่งส่วนข้อมูลด้วยการพึ่งพาสัญญาณภาพเป็นหลัก อย่างไรก็ตาม พวกมันกลับประสบปัญหาเมื่อต้องให้การตีความที่ยืดยาวหรือคำสั่งภาษาธรรมชาติที่ละเอียดซับซ้อน SAM 3 ได้ก้าวข้ามขีดจำกัดนั้นด้วยการรวม ความเข้าใจหลายรูปแบบ ที่เชื่อมโยงข้อความและวิสัยทัศน์ได้ตรงยิ่งขึ้น

เมต้าร่วมก้าวสู่ความก้าวหน้าด้วยเกณฑ์มาตรฐานใหม่ การแบ่งส่วนคำศัพท์แบบเปิดออกแบบมาเพื่อประเมินการแบ่งส่วนข้อมูลแบบชี้นำข้อความในสถานการณ์จริง และด้วยการเผยแพร่น้ำหนัก SAM 3 วิธีนี้ช่วยให้นักวิจัยและนักพัฒนาสามารถวัดและเปรียบเทียบผลลัพธ์ระหว่างวิธีการต่างๆ ได้อย่างเข้มงวด

ในการออกแบบใหม่ SAM 3D Objects ได้รับการปรับปรุงให้ดีขึ้นอย่างมากจากวิธีการเดิม ตามข้อมูลที่ Meta แบ่งปัน ซึ่งยังเปิดตัวจุดตรวจสอบ โค้ดอนุมาน และชุดประเมินผล ควบคู่ไปกับ SAM 3D Body บริษัทกำลังเปิดตัว วัตถุศิลปิน 3 มิติ SAMชุดข้อมูลใหม่ที่สร้างขึ้นโดยศิลปินเพื่อประเมินคุณภาพ 3 มิติในภาพที่หลากหลาย

การประยุกต์ใช้ในโลกแห่งความเป็นจริงและกรณีการใช้งานทันที

Meta กำลังผสานรวมความสามารถเหล่านี้เข้ากับผลิตภัณฑ์ของตน ใน “Edits” ซึ่งเป็นเครื่องมือวิดีโอสำหรับ Instagram และ Facebook การแบ่งกลุ่มขั้นสูงถูกนำมาใช้เพื่อใส่เอฟเฟกต์ให้กับวิดีโอแล้ว บุคคลหรือวัตถุที่เฉพาะเจาะจง โดยไม่กระทบต่อส่วนที่เหลือของภาพ วิธีนี้ช่วยให้สามารถเปลี่ยนพื้นหลัง เลือกฟิลเตอร์ หรือแปลงภาพแบบเจาะจงได้ โดยไม่กระทบต่อคุณภาพ

เราจะเห็นฟีเจอร์เหล่านี้ใน Vibes, ภายในแอป Meta AI และบนแพลตฟอร์ม meta.ai พร้อมประสบการณ์การแก้ไขและสร้างสรรค์ใหม่ๆ ด้วยการอนุญาตให้มีคำสั่งที่ซับซ้อน ผู้ใช้สามารถอธิบายสิ่งที่ต้องการแก้ไขได้ และระบบจะตอบสนองตามนั้น ทำให้งานหลังการผลิตเป็นแบบอัตโนมัติ ที่เคยลำบากยากเข็ญ

ในเชิงพาณิชย์ "View in Room" ของ Facebook Marketplace โดดเด่นด้วยการช่วยให้ผู้ใช้เห็นภาพว่าเฟอร์นิเจอร์หรือโคมไฟจะดูเป็นอย่างไรในบ้านของพวกเขา ด้วยโมเดล 3 มิติที่สร้างขึ้นโดยอัตโนมัติ ฟังก์ชันนี้ช่วยลดความไม่แน่นอนและ ช่วยปรับปรุงการตัดสินใจซื้อซึ่งเป็นจุดสำคัญเมื่อเราไม่สามารถมองเห็นผลิตภัณฑ์ได้ด้วยตนเอง

ผลกระทบนี้ขยายไปถึงวิทยาการหุ่นยนต์ วิทยาศาสตร์ การศึกษา และเวชศาสตร์การกีฬา การสร้างภาพสามมิติจากภาพถ่ายธรรมดาสามารถป้อนให้กับเครื่องจำลอง สร้างแบบจำลองอ้างอิงทางกายวิภาค และสนับสนุนเครื่องมือวิเคราะห์ที่ก่อนหน้านี้ต้องใช้อุปกรณ์เฉพาะทาง ทั้งหมดนี้ส่งเสริม เวิร์กโฟลว์ใหม่ ในการวิจัยและการฝึกอบรม

แบ่งส่วนสนามเด็กเล่นอะไรก็ได้: ทดสอบและสร้างสรรค์โดยไม่มีแรงเสียดทาน

เพื่อสร้างประชาธิปไตยในการเข้าถึง Meta จึงได้เปิดตัว แบ่งส่วนสนามเด็กเล่นอะไรก็ได้เว็บไซต์ที่ทุกคนสามารถอัปโหลดรูปภาพหรือวิดีโอและทดลองใช้ SAM 3 และ SAM 3D ได้ อินเทอร์เฟซของเว็บไซต์นี้ชวนให้นึกถึง "ไม้กายสิทธิ์" ของโปรแกรมแก้ไขภาพแบบคลาสสิก โดยมีข้อดีคือเราสามารถ เขียนสิ่งที่เราต้องการเลือก หรือปรับแต่งด้วยการคลิกเพียงไม่กี่ครั้ง

นอกจากนี้ Playground ยังมีเทมเพลตที่พร้อมใช้งาน ซึ่งรวมถึงตัวเลือกที่ใช้งานได้จริง เช่น ใบหน้าแบบพิกเซลหรือป้ายทะเบียนและเอฟเฟกต์ที่สร้างสรรค์ยิ่งขึ้น เช่น เอฟเฟกต์ Motion Trail หรือ Spotlight ซึ่งทำให้สามารถสร้างงานปกป้องตัวตนหรือสร้างเอฟเฟกต์ที่สะดุดตาได้ภายในไม่กี่วินาที

นอกเหนือจากการแบ่งส่วนภาพแล้ว ผู้ใช้ยังสามารถสำรวจฉากต่างๆ จากมุมมองใหม่ๆ จัดเรียงใหม่ หรือใช้เอฟเฟกต์สามมิติด้วย SAM 3D เป้าหมายคือเพื่อให้ทุกคนสามารถทำได้โดยไม่ต้องมีความรู้ด้าน 3D หรือคอมพิวเตอร์วิชันมาก่อน บรรลุผลลัพธ์ที่ยอมรับได้ ภายในไม่กี่นาทีและไม่ต้องติดตั้งอะไรเลย

แบบจำลอง ทรัพยากรเปิด และการประเมินผล

Meta ได้เผยแพร่ทรัพยากรเพื่อช่วยให้ชุมชนพัฒนาเทคโนโลยีให้ก้าวหน้ายิ่งขึ้น สำหรับ SAM 3 มีทรัพยากรดังต่อไปนี้: น้ำหนักแบบจำลอง พร้อมด้วยเกณฑ์มาตรฐานคำศัพท์แบบเปิดและเอกสารทางเทคนิคที่ให้รายละเอียดเกี่ยวกับสถาปัตยกรรมและการฝึกอบรม ซึ่งช่วยให้สามารถทำซ้ำได้และเปรียบเทียบได้อย่างยุติธรรม

ในส่วนของ 3D บริษัทได้เปิดตัวจุดควบคุม โค้ดอนุมาน และชุดประเมินผลรุ่นใหม่ การทำงานร่วมกันของ SAM 3D Objects และ SAM 3D Body ช่วยให้ครอบคลุมการใช้งานได้อย่างครอบคลุม วัตถุทั่วไปและร่างกายมนุษย์ โดยใช้หน่วยวัดที่ปรับให้เหมาะกับแต่ละกรณี ซึ่งถือเป็นสิ่งสำคัญในการประเมินความเที่ยงตรงทางเรขาคณิตและภาพ

การร่วมมือกับศิลปินเพื่อสร้าง SAM 3D Artist Objects จะนำเกณฑ์ด้านสุนทรียศาสตร์และความหลากหลายมาใช้ในการประเมิน ไม่ใช่แค่เกณฑ์ทางเทคนิคเท่านั้น นี่คือกุญแจสำคัญในการทำให้การสร้างภาพสามมิติมีประโยชน์ สภาพแวดล้อมทางสร้างสรรค์และเชิงพาณิชย์โดยที่คุณภาพที่ผู้คนรับรู้ทำให้เกิดความแตกต่าง

การแบ่งส่วนข้อความ: ตัวอย่างและข้อดี

ด้วย SAM 3 คุณสามารถพิมพ์ "หมวกเบสบอลสีแดง" และระบบจะระบุคำที่ตรงกันทั้งหมดในรูปภาพหรือตลอดทั้งวิดีโอ ความแม่นยำนี้เปิดโอกาสให้กับเวิร์กโฟลว์การแก้ไขที่เพียงแค่พิมพ์ "หมวกเบสบอลสีแดง" ก็เพียงพอแล้ว ประโยคสั้น ๆ และชัดเจน เพื่อแยกองค์ประกอบต่างๆ และใช้เอฟเฟ็กต์หรือการเปลี่ยนแปลงกับองค์ประกอบเหล่านั้น

ความเข้ากันได้กับโมเดลภาษาหลายโหมดช่วยให้มีคำสั่งที่ครอบคลุมมากขึ้น รวมถึงการยกเว้นหรือเงื่อนไข ("คนนั่งที่ไม่ได้สวมหมวกสีแดง") ความยืดหยุ่นนี้ช่วยลดชั่วโมงการทำงานด้วยตนเองและลด ข้อผิดพลาดในการเลือก ซึ่งได้แก้ไขด้วยมือเรียบร้อยแล้ว

สำหรับทีมที่สร้างเนื้อหาในวงกว้าง การแบ่งกลุ่มตามข้อความจะช่วยเร่งกระบวนการทำงานและทำให้การกำหนดผลลัพธ์เป็นมาตรฐานง่ายขึ้น ยกตัวอย่างเช่น ในด้านการตลาด สามารถรักษาความสอดคล้องกันได้โดยการใช้ตัวกรองกับกลุ่มผลิตภัณฑ์ ซึ่งเป็นสิ่งที่ ปรับปรุงเวลาและต้นทุน ของการผลิต

การแก้ไขโซเชียลมีเดียและความคิดสร้างสรรค์ทางดิจิทัล

การผสานรวมใน Edits มอบฟีเจอร์หลังการผลิตขั้นสูงให้กับครีเอเตอร์ Instagram และ Facebook ฟิลเตอร์ที่ก่อนหน้านี้ต้องใช้มาสก์ที่ซับซ้อน ตอนนี้สามารถใช้ด้วยคำสั่งข้อความและคลิกเพียงไม่กี่ครั้ง ในขณะที่ยังคงรักษา ขอบและรายละเอียดอันประณีต เฟรมต่อเฟรมที่มั่นคง

สำหรับชิ้นงานขนาดสั้นที่กำหนดเวลาการเผยแพร่มีความสำคัญ ระบบอัตโนมัตินี้ถือเป็นเรื่องสำคัญ การเปลี่ยนพื้นหลังของคลิป การเน้นเฉพาะบุคคล หรือการแปลงวัตถุเฉพาะไม่จำเป็นต้องใช้เวิร์กโฟลว์แบบแมนนวลอีกต่อไป และ ผลกระทบที่เป็นประชาธิปไตย ที่แต่ก่อนจะจำกัดเฉพาะมืออาชีพเท่านั้น

ในขณะเดียวกัน Vibes และ meta.ai กำลังขยายขอบเขตประสบการณ์ด้วยการแก้ไขและความคิดสร้างสรรค์ที่ขับเคลื่อนด้วยภาษา การที่สามารถอธิบายรายละเอียดสิ่งที่เราต้องการได้ ทำให้การก้าวกระโดดจากไอเดียไปสู่ผลลัพธ์สั้นลง ซึ่งแปลว่า การทำซ้ำที่สร้างสรรค์มากขึ้น ในเวลาที่น้อยลง

พาณิชย์ วิทยาศาสตร์ และกีฬา: เหนือกว่าความบันเทิง

“View in Room” บน Facebook Marketplace เป็นตัวอย่างที่แสดงให้เห็นถึงคุณค่าที่นำไปใช้ได้จริง: การเห็นโคมไฟหรือเฟอร์นิเจอร์ในห้องนั่งเล่นก่อนซื้อช่วยลดการคืนสินค้าและสร้างความไว้วางใจ เบื้องหลังคือกระบวนการที่เริ่มต้นด้วยภาพ ก่อให้เกิด แบบจำลอง 3 มิติเพื่อการแสดงภาพ ตามบริบท

ในทางวิทยาศาสตร์และการศึกษา การสร้างภาพจำลองจากภาพถ่ายง่ายๆ ช่วยลดต้นทุนในการสร้างสื่อการสอนและการจำลองเสมือนจริง แบบจำลองกายวิภาคที่สร้างโดย AI สามารถใช้เป็นเครื่องมือสนับสนุนในห้องเรียนหรือใน... การวิเคราะห์ทางชีวกลศาสตร์การเร่งการจัดเตรียมเนื้อหา

ในเวชศาสตร์การกีฬา การผสมผสานการวิเคราะห์องค์ประกอบของร่างกายเข้ากับการสร้างรูปร่างใหม่ ช่วยให้สามารถศึกษาท่าทางและการเคลื่อนไหวได้โดยไม่ต้องใช้เครื่องมือราคาแพง ซึ่งเปิดโอกาสให้ การประเมินที่บ่อยขึ้น และการตรวจสอบระยะไกล

ความเป็นส่วนตัว จริยธรรม และแนวปฏิบัติที่ดี

พลังของเครื่องมือเหล่านี้ต้องอาศัยความรับผิดชอบ การดัดแปลงรูปภาพบุคคลโดยไม่ได้รับความยินยอมอาจนำไปสู่ปัญหาทางกฎหมายและจริยธรรม ดังนั้นจึงควรหลีกเลี่ยงการสร้างรูปภาพซ้ำ ใบหน้าที่ไม่คุ้นเคยห้ามแชร์โมเดลโดยไม่ได้รับอนุญาต และห้ามแก้ไขฉากที่ละเอียดอ่อนซึ่งอาจทำให้เกิดความสับสนหรืออันตรายได้

Meta ประกาศมาตรการควบคุมเพื่อลดการใช้ในทางที่ผิด แต่ความรับผิดชอบสูงสุดอยู่ที่ผู้ใช้เทคโนโลยี ขอแนะนำให้ตรวจสอบแหล่งที่มาของรูปภาพ ปกป้องข้อมูลส่วนบุคคล และ ประเมินบริบท ก่อนที่จะเผยแพร่โมเดล 3 มิติที่อาจเปิดเผยข้อมูลส่วนบุคคล

ในที่ทำงาน การกำหนดนโยบายการตรวจสอบและการยินยอม และการติดป้ายกำกับเนื้อหาที่สร้างโดย AI อย่างชัดเจน จะช่วยส่งเสริมการใช้งานอย่างมีความรับผิดชอบ การฝึกอบรมทีมงานในหัวข้อเหล่านี้จะช่วย ป้องกันการปฏิบัติที่ไม่ดี ตอบสนองต่อเหตุการณ์ได้รวดเร็วแล้ว

วิธีแปลงบุคคลและวัตถุเป็นโมเดล 3 มิติด้วย SAM 3D: วิธีเริ่มต้นใช้งาน

หากคุณต้องการทดลองทันที ส่วน Anything Playground คือประตูสู่ความสำเร็จ คุณสามารถอัปโหลดรูปภาพหรือวิดีโอ พิมพ์สิ่งที่ต้องการเลือก และทดลองใช้ตัวเลือกการสร้างภาพ 3 มิติภายในอินเทอร์เฟซที่เรียบง่าย สำหรับโปรไฟล์ทางเทคนิค [มีตัวเลือกเพิ่มเติม] น้ำหนัก จุดตรวจ และรหัส ที่ช่วยอำนวยความสะดวกในการทดสอบที่กำหนดเอง

นักวิจัย นักพัฒนา และศิลปินมีระบบนิเวศที่ประกอบด้วยเกณฑ์มาตรฐาน ชุดข้อมูลการประเมิน และเอกสารประกอบ เป้าหมายคือการสร้างจุดร่วมในการวัดความก้าวหน้าและเร่งการนำไปใช้ใน ภาคต่าง ๆจากความคิดสร้างสรรค์ทางดิจิทัลไปจนถึงหุ่นยนต์

สิ่งที่น่าสนใจที่สุดคือการก้าวกระโดดนี้ไม่ได้จำกัดอยู่แค่เฉพาะผู้เชี่ยวชาญเท่านั้น การเรียนรู้กำลังสั้นลง และฟีเจอร์ต่างๆ กำลังเข้าถึงแอปพลิเคชันทั่วไป ทุกสิ่งทุกอย่างบ่งชี้ว่าการตัดต่อและ 3D จะยังคงถูกรวมเข้ากับเวิร์กโฟลว์ต่อไป ภาษาธรรมชาติคืออินเทอร์เฟซ.

ด้วย SAM 3 และ SAM 3D Meta นำเสนอการแบ่งส่วนข้อความและการสร้างภาพเดี่ยวใหม่ให้กับผู้สร้างและทีมงานทุกขนาด ด้วย Playground การผสานรวมใน Edits ทรัพยากรแบบเปิด และแอปพลิเคชันด้านพาณิชย์ การศึกษา และกีฬา รากฐานที่แข็งแกร่งกำลังถูกสร้าง วิธีการใหม่ในการทำงานกับรูปภาพและปริมาณ ที่ผสมผสานความแม่นยำ การเข้าถึง และความรับผิดชอบ