Chuyển đổi người và vật thể thành 3D bằng Meta SAM 3 và SAM 3D

¿Làm thế nào để chuyển đổi người và vật thể thành mô hình 3D bằng SAM 3D? Trí tuệ nhân tạo được áp dụng vào hình ảnh đang tạo ra tác động lớn và hiện nay, ngoài việc cắt chính xác các vật thể, nó còn có thể chuyển đổi một hình ảnh duy nhất thành mô hình 3D Sẵn sàng khám phá từ nhiều góc độ. Meta đã giới thiệu một thế hệ công cụ mới kết nối việc chỉnh sửa, hiểu biết về thế giới trực quan và tái tạo ba chiều mà không cần thiết bị hoặc kiến ​​thức chuyên sâu.

Chúng ta đang nói về SAM 3 và SAM 3D, hai mô hình ra đời nhằm cải thiện khả năng phát hiện, theo dõi và phân đoạn, đồng thời mang lại Tái tạo 3D các vật thể và con người cho nhiều đối tượng. Đề xuất của họ bao gồm việc hiểu đồng thời các hướng dẫn văn bản và tín hiệu hình ảnh, nhờ đó việc cắt, biến đổi và tái tạo các yếu tố trở nên dễ dàng như việc gõ những gì chúng ta muốn hoặc thực hiện vài cú nhấp chuột.

SAM 3 và SAM 3D là gì và chúng khác nhau như thế nào?

Dòng sản phẩm Segment Anything của Meta mở rộng với hai bổ sung mới: SAM 3 và SAM 3D. Phần mềm trước tập trung vào việc nhận dạng, theo dõi và phân đoạn các đối tượng trong ảnh và video với độ chính xác thế hệ tiếp theo, trong khi phần mềm sau Tái tạo hình học và diện mạo 3D từ một hình ảnh duy nhấtbao gồm con người, động vật hoặc các sản phẩm hàng ngày.

Sự khác biệt về mặt chức năng rất rõ ràng: SAM 3 xử lý việc "hiểu và tách" nội dung hình ảnh, và SAM 3D sử dụng sự hiểu biết đó để "tạo" một khối ba chiều. Với sự kết hợp này, một quy trình làm việc trước đây đòi hỏi phần mềm phức tạp hoặc máy quét chuyên dụng giờ đây trở nên... dễ tiếp cận hơn và nhanh hơn nhiều.

Hơn nữa, SAM 3 không chỉ giới hạn ở các gợi ý trực quan cơ bản. Nó cung cấp khả năng phân đoạn được hướng dẫn bằng ngôn ngữ tự nhiên, có khả năng diễn giải mô tả rất chính xácChúng ta không còn chỉ nói về "xe hơi" hay "bóng" nữa mà còn nói về những cụm từ như "mũ bóng chày màu đỏ" để xác định chính xác những yếu tố đó trong một cảnh, thậm chí trong toàn bộ video.

Trong khi đó, SAM 3D có hai phiên bản bổ sung: Đối tượng SAM 3D, tập trung vào đồ vật và cảnhvà SAM 3D Body, được đào tạo để ước tính hình dạng và cơ thể con người. Chuyên môn này cho phép nó bao quát mọi thứ, từ hàng tiêu dùng đến chân dung và tư thế, mở ra cánh cửa cho các ứng dụng sáng tạo, thương mại và khoa học.

Họ có thể phân đoạn và tái tạo lại từ một hình ảnh duy nhất bằng cách nào?

Chìa khóa nằm ở một kiến ​​trúc được đào tạo trên khối lượng dữ liệu lớn để thiết lập các liên kết trực tiếp giữa các từ và điểm ảnh. Mô hình này hiểu đồng thời các hướng dẫn bằng văn bản và tín hiệu trực quan (nhấp chuột, chấm hoặc ô), do đó dịch một yêu cầu vào các lĩnh vực cụ thể của một bức ảnh hoặc một khung video.

Sự hiểu biết về ngôn ngữ này vượt xa các tên lớp truyền thống. SAM 3 có thể xử lý các hướng dẫn, loại trừ và sắc thái phức tạp, cho phép các truy vấn như "những người ngồi xuống mà không đội mũ đỏ". Khả năng tương thích này với lời nhắc văn bản chi tiết Nó giải quyết được hạn chế mang tính lịch sử của các mô hình trước đây, vốn có xu hướng gây nhầm lẫn giữa các khái niệm chi tiết.

Sau đó, SAM 3D phát huy tác dụng: bắt đầu với một hình ảnh, nó tạo ra một mô hình ba chiều cho phép bạn xem đối tượng từ các góc nhìn khác nhau, sắp xếp lại bối cảnh hoặc áp dụng các hiệu ứng 3D. Trên thực tế, nó tích hợp với phân đoạn trước đó để tách biệt những gì chúng ta quan tâm và do đó, Xây dựng lại ở dạng 3D mà không cần các bước trung gian phức tạp.

Các tính năng mới so với thế hệ trước

SAM 1 và SAM 2 đã cách mạng hóa phân đoạn bằng cách dựa nhiều vào các tín hiệu thị giác. Tuy nhiên, chúng gặp khó khăn khi được yêu cầu cung cấp các diễn giải dài dòng hoặc hướng dẫn bằng ngôn ngữ tự nhiên tinh tế. SAM 3 đã phá vỡ rào cản đó bằng cách kết hợp hiểu biết đa phương thức kết nối văn bản và hình ảnh trực tiếp hơn.

Meta đồng hành cùng sự tiến bộ với một chuẩn mực mới phân đoạn từ vựng mởĐược thiết kế để đánh giá phân đoạn hướng dẫn văn bản trong các tình huống thực tế và với việc công bố trọng số SAM 3. Bằng cách này, các nhà nghiên cứu và nhà phát triển có thể đo lường và so sánh kết quả giữa các phương pháp một cách chặt chẽ.

Trong quá trình thiết kế lại, SAM 3D Objects đã cải thiện đáng kể các phương pháp tiếp cận trước đây, theo dữ liệu được chia sẻ bởi Meta, đơn vị cũng phát hành các điểm kiểm tra, mã suy luận và bộ đánh giá. Cùng với SAM 3D Body, công ty đang phát hành Đối tượng nghệ sĩ 3D SAM, một tập dữ liệu mới được tạo ra với các nghệ sĩ để đánh giá chất lượng 3D trong nhiều loại hình ảnh khác nhau.

Các ứng dụng thực tế và các trường hợp sử dụng ngay lập tức

Meta đang tích hợp những tính năng này vào sản phẩm của mình. Trong "Edits", công cụ video dành cho Instagram và Facebook, tính năng phân đoạn nâng cao đã được sử dụng để áp dụng hiệu ứng cho video. người hoặc vật cụ thể mà không ảnh hưởng đến phần còn lại của hình ảnh. Điều này tạo điều kiện thuận lợi cho việc thay đổi nền, lọc chọn lọc hoặc chuyển đổi mục tiêu mà không làm giảm chất lượng.

Chúng ta cũng sẽ thấy những tính năng này trong Vibes, trong ứng dụng Meta AI và trên nền tảng meta.ai, với những trải nghiệm chỉnh sửa và sáng tạo mới. Bằng cách cho phép các hướng dẫn phức tạp, người dùng có thể mô tả những gì họ muốn chỉnh sửa và hệ thống sẽ phản hồi tương ứng. tự động hóa các tác vụ hậu kỳ việc đó từng rất tốn công.

Trong thương mại, tính năng "Xem trong phòng" của Facebook Marketplace nổi bật, giúp người dùng hình dung đồ nội thất hoặc đèn sẽ trông như thế nào trong nhà của họ nhờ các mô hình 3D được tạo tự động. Chức năng này làm giảm sự không chắc chắn và cải thiện quyết định mua hàng, một điểm quan trọng khi chúng ta không thể nhìn thấy sản phẩm trực tiếp.

Tác động này mở rộng sang lĩnh vực robot, khoa học, giáo dục và y học thể thao. Việc tái tạo 3D từ những bức ảnh đơn giản có thể cung cấp dữ liệu cho các chương trình mô phỏng, tạo ra các mô hình tham chiếu giải phẫu và hỗ trợ các công cụ phân tích trước đây đòi hỏi thiết bị chuyên dụng. Tất cả những điều này thúc đẩy quy trình làm việc mới trong nghiên cứu và đào tạo.

Sân chơi Segment Anything: thử nghiệm và sáng tạo mà không gặp trở ngại

Để dân chủ hóa quyền truy cập, Meta đã ra mắt Sân chơi phân khúc bất kỳMột trang web nơi bất kỳ ai cũng có thể tải lên hình ảnh hoặc video và thử nghiệm với SAM 3 và SAM 3D. Giao diện của nó gợi nhớ đến "cây đũa thần" của các trình soạn thảo cổ điển, với ưu điểm là chúng ta có thể viết những gì chúng ta muốn chọn hoặc tinh chỉnh chỉ bằng vài cú nhấp chuột.

Ngoài ra, Sân chơi còn cung cấp các mẫu có sẵn để sử dụng. Chúng bao gồm các tùy chọn thực tế như khuôn mặt pixelate hoặc biển số xevà nhiều hiệu ứng sáng tạo hơn như vệt chuyển động hoặc đèn chiếu. Điều này giúp thực hiện các tác vụ bảo vệ danh tính hoặc hiệu ứng bắt mắt chỉ trong vài giây.

Ngoài khả năng phân đoạn, người dùng có thể khám phá các cảnh từ góc nhìn mới, sắp xếp lại chúng hoặc áp dụng hiệu ứng ba chiều với SAM 3D. Mục tiêu là bất kỳ ai, dù chưa có kiến ​​thức về 3D hay thị giác máy tính, cũng có thể thực hiện được. đạt được kết quả chấp nhận được trong vài phút và không cần cài đặt bất cứ thứ gì.

Mô hình, tài nguyên mở và đánh giá

Meta đã phát hành các tài nguyên để giúp cộng đồng nâng cao trình độ công nghệ. Đối với SAM 3, các tài nguyên sau đây có sẵn: trọng lượng mô hình cùng với một chuẩn từ vựng mở và một tài liệu kỹ thuật trình bày chi tiết về kiến ​​trúc và đào tạo. Điều này tạo điều kiện cho khả năng tái tạo và so sánh công bằng.

Về mặt 3D, công ty đã phát hành các điểm kiểm soát, mã suy luận và bộ đánh giá thế hệ tiếp theo. Tính song song của SAM 3D Objects và SAM 3D Body cho phép bao phủ toàn diện. các vật thể chung và cơ thể con người với các số liệu được điều chỉnh cho phù hợp với từng trường hợp, là điều cần thiết để đánh giá độ trung thực về hình học và hình ảnh.

Việc hợp tác với các nghệ sĩ để tạo ra các Đối tượng Nghệ sĩ 3D SAM đưa các tiêu chí thẩm mỹ và đa dạng vào quá trình đánh giá, chứ không chỉ là các tiêu chí kỹ thuật. Đây là chìa khóa để việc tái tạo 3D trở nên hữu ích trong môi trường sáng tạo và thương mạinơi mà chất lượng mà mọi người cảm nhận tạo nên sự khác biệt.

Phân đoạn văn bản: ví dụ và lợi ích

Với SAM 3, bạn có thể nhập "mũ bóng chày đỏ" và hệ thống sẽ nhận diện tất cả các điểm trùng khớp trong hình ảnh hoặc toàn bộ video. Độ chính xác này mở ra cánh cửa cho các quy trình chỉnh sửa mà chỉ cần nhập "mũ bóng chày đỏ" là đủ. câu ngắn và rõ ràng để tách các thành phần và áp dụng hiệu ứng hoặc chuyển đổi cho chúng.

Khả năng tương thích với các mô hình ngôn ngữ đa phương thức cho phép đưa ra các hướng dẫn phong phú hơn, bao gồm các trường hợp loại trừ hoặc điều kiện (“những người ngồi xuống không đội mũ đỏ”). Tính linh hoạt này giúp giảm giờ làm việc thủ công và giảm lỗi lựa chọn trước đây đã được sửa bằng tay.

Đối với các nhóm tạo nội dung quy mô lớn, phân đoạn dựa trên văn bản giúp đẩy nhanh quy trình và giúp chuẩn hóa kết quả dễ dàng hơn. Ví dụ, trong tiếp thị, tính nhất quán có thể được duy trì bằng cách áp dụng bộ lọc cho một nhóm sản phẩm, một điều mà cải thiện thời gian và chi phí của sự sản xuất.

Biên tập phương tiện truyền thông xã hội và sáng tạo kỹ thuật số

Việc tích hợp trong Edits mang đến các tính năng hậu kỳ nâng cao cho người sáng tạo nội dung trên Instagram và Facebook. Bộ lọc trước đây yêu cầu các mặt nạ phức tạp giờ đây có thể được áp dụng chỉ bằng lệnh văn bản và vài cú nhấp chuột, đồng thời vẫn duy trì các cạnh và chi tiết tinh tế ổn định từng khung hình một.

Đối với những tác phẩm ngắn, nơi lịch trình xuất bản đóng vai trò quan trọng, tính năng tự động hóa này là vô cùng hữu ích. Việc thay đổi nền của clip, chỉ làm nổi bật một người, hoặc biến đổi một đối tượng cụ thể không còn đòi hỏi quy trình làm việc thủ công nữa, và điều đó dân chủ hóa các hiệu ứng trước đây chỉ dành riêng cho các chuyên gia.

Trong khi đó, Vibes và meta.ai đang mở rộng phạm vi trải nghiệm với khả năng chỉnh sửa và sáng tạo dựa trên ngôn ngữ. Bằng cách có thể mô tả chi tiết những gì chúng ta muốn, bước nhảy vọt từ ý tưởng đến kết quả được rút ngắn, điều này có nghĩa là những lần lặp lại sáng tạo hơn trong thời gian ngắn hơn.

Thương mại, khoa học và thể thao: vượt ra ngoài giải trí

Tính năng "Xem trong phòng" trên Facebook Marketplace là một ví dụ điển hình về giá trị thực tế: việc nhìn thấy một chiếc đèn hoặc một món đồ nội thất trong phòng khách trước khi mua sẽ giúp giảm tỷ lệ trả lại hàng và xây dựng lòng tin. Đằng sau đó là một quy trình, bắt đầu bằng hình ảnh, tạo ra Mô hình 3D để trực quan hóa theo ngữ cảnh.

Trong khoa học và giáo dục, việc tái tạo từ những bức ảnh đơn giản giúp giảm chi phí tạo tài liệu giảng dạy và mô phỏng thực tế. Một mô hình giải phẫu do AI tạo ra có thể được sử dụng làm công cụ hỗ trợ trong lớp học hoặc... phân tích cơ sinh họcđẩy nhanh quá trình chuẩn bị nội dung.

Trong y học thể thao, việc kết hợp phân tích thành phần cơ thể với tái tạo hình thể cung cấp các công cụ để nghiên cứu tư thế và chuyển động mà không cần thiết bị đắt tiền. Điều này mở ra khả năng đánh giá thường xuyên hơn và giám sát từ xa.

Quyền riêng tư, đạo đức và các thông lệ tốt

Sức mạnh của những công cụ này đòi hỏi trách nhiệm. Việc chỉnh sửa hình ảnh của người khác mà không có sự đồng ý của họ có thể dẫn đến các vấn đề pháp lý và đạo đức. Tốt nhất là tránh việc tái tạo hình ảnh. những khuôn mặt xa lạKhông chia sẻ mô hình khi chưa được phép và không thay đổi các cảnh nhạy cảm có thể gây nhầm lẫn hoặc gây hại.

Meta công bố các biện pháp kiểm soát nhằm giảm thiểu việc lạm dụng, nhưng trách nhiệm cuối cùng thuộc về người dùng công nghệ. Nên xác minh nguồn gốc hình ảnh, bảo vệ dữ liệu cá nhân và đánh giá bối cảnh trước khi công bố các mô hình 3D có thể tiết lộ thông tin riêng tư.

Trong môi trường chuyên nghiệp, việc thiết lập các chính sách đánh giá và chấp thuận, cũng như dán nhãn rõ ràng nội dung do AI tạo ra, góp phần vào việc sử dụng có trách nhiệm. Việc đào tạo đội ngũ về những chủ đề này sẽ giúp ngăn chặn các hành vi xấu đã phản ứng nhanh chóng với các sự cố.

Cách chuyển đổi người và vật thể thành mô hình 3D bằng SAM 3D: Cách bắt đầu

Nếu bạn muốn thử nghiệm ngay, Phân khúc Sân chơi Bất kỳ chính là cánh cổng. Tại đây, bạn có thể tải ảnh hoặc video lên, nhập nội dung bạn muốn chọn và thử nghiệm các tùy chọn tái tạo 3D trong một giao diện đơn giản. Đối với các hồ sơ kỹ thuật, [có sẵn các tùy chọn khác]. trọng lượng, điểm kiểm tra và mã giúp tạo điều kiện cho việc thử nghiệm tùy chỉnh.

Các nhà nghiên cứu, nhà phát triển và nghệ sĩ có một hệ sinh thái bao gồm các tiêu chuẩn, bộ dữ liệu đánh giá và tài liệu. Mục tiêu là thiết lập nền tảng chung để đo lường tiến độ và đẩy nhanh việc áp dụng trong các ngành khác nhautừ sáng tạo kỹ thuật số đến robot.

Điều thú vị nhất là bước nhảy vọt này không chỉ dành riêng cho chuyên gia: đường cong học tập đang được rút ngắn và các tính năng đang dần tiếp cận các ứng dụng hàng ngày. Mọi thứ cho thấy rằng chỉnh sửa và 3D sẽ tiếp tục được tích hợp vào quy trình làm việc, nơi mà ngôn ngữ tự nhiên là giao diện.

Với SAM 3 và SAM 3D, Meta mang đến khả năng phân đoạn văn bản và tái tạo hình ảnh đơn lẻ cho các nhà sáng tạo và nhóm ở mọi quy mô. Giữa Sân chơi, tích hợp trong Edits, tài nguyên mở và các ứng dụng trong thương mại, giáo dục và thể thao, một nền tảng vững chắc đang được xây dựng. cách mới để làm việc với hình ảnh và khối lượng kết hợp tính chính xác, khả năng tiếp cận và trách nhiệm.