Meta의 SAM 3 및 SAM 3D를 사용하여 사람과 사물을 3D로 변환하세요.

¿SAM 3D를 사용하여 사람과 물체를 3D 모델로 변환하는 방법은 무엇인가요? 시각적 요소에 적용된 인공지능은 큰 영향을 미치고 있으며, 이제는 객체를 정확하게 잘라내는 것 외에도 단일 이미지를 3D 모델로 변환 다각도로 탐험할 준비가 되었습니다. Meta는 고급 장비나 전문 지식 없이도 편집, 시각적 세계 이해, 그리고 3차원 재구성을 연결하는 차세대 도구를 선보였습니다.

우리는 탐지, 추적 및 세분화를 개선하고 이를 실현하기 위해 도입된 두 가지 모델인 SAM 3 및 SAM 3D에 대해 이야기하고 있습니다. 사물과 사람의 3D 재구성 광범위한 대중에게. 그들의 제안은 텍스트 지시와 시각적 신호를 동시에 이해하여, 원하는 내용을 입력하거나 몇 번 클릭하는 것만큼 쉽게 요소를 자르고, 변형하고, 재구성할 수 있도록 하는 것입니다.

SAM 3와 SAM 3D는 무엇이고 어떻게 다릅니까?

Meta의 Segment Anything 제품군에 SAM 3와 SAM 3D라는 두 가지 새로운 기능이 추가되었습니다. SAM 3D는 차세대 정확도로 사진과 비디오의 객체를 식별, 추적 및 분할하는 데 중점을 두고, SAM 3D는 단일 이미지에서 3D 형상과 모양을 재구성합니다.사람, 동물, 일상용품 등을 포함합니다.

기능적 차이점은 명확합니다. SAM 3는 시각적 콘텐츠의 "이해 및 분리"를 처리하고, SAM 3D는 이러한 이해를 바탕으로 3차원 볼륨을 "생성"합니다. 이러한 결합을 통해 이전에는 복잡한 소프트웨어나 특수 스캐너가 필요했던 워크플로가 훨씬 더 접근하기 쉽고 빠릅니다.

또한 SAM 3는 기본적인 시각적 프롬프트에 국한되지 않습니다. 자연어 기반 세분화를 제공하여 해석이 가능합니다. 매우 정확한 설명우리는 더 이상 "자동차"나 "공"에 대해서만 이야기하지 않고, "빨간 야구 모자"와 같은 문구를 사용하여 영상 전체에서 장면 속의 해당 요소를 정확하게 찾아냅니다.

한편, SAM 3D는 두 가지 보완적인 유형으로 제공됩니다. SAM 3D 객체는 다음에 초점을 맞춥니다. 사물과 장면그리고 SAM 3D Body는 인체의 형태와 신체를 추정하도록 훈련되었습니다. 이러한 전문 분야를 통해 소비재부터 인물 사진 및 포즈까지 모든 것을 포괄하여 창의적, 상업적, 과학적 응용 분야의 문을 열어줍니다.

그들은 어떻게 단일 이미지로부터 분할하고 재구성할 수 있을까?

핵심은 단어와 픽셀 간의 직접적인 연결을 구축하기 위해 대량의 데이터를 기반으로 학습된 아키텍처에 있습니다. 이 모델은 문자 지시와 시각적 신호(클릭, 점, 상자)를 동시에 이해하여 요청을 특정 영역으로 번역하다 사진이나 비디오 프레임의.

이러한 언어 이해는 기존 클래스 이름을 넘어섭니다. SAM 3는 복잡한 명령, 제외 및 뉘앙스를 처리하여 "빨간 모자를 쓰지 않고 앉아 있는 사람들"과 같은 쿼리를 구현할 수 있습니다. 이러한 호환성은 자세한 텍스트 프롬프트 이는 세부적인 개념을 혼란스럽게 하는 경향이 있었던 이전 모델의 역사적 한계를 해결합니다.

그러면 SAM 3D가 작동합니다. 이미지를 기반으로 3차원 모델을 생성하여 다른 관점에서 객체를 보거나, 장면을 재구성하거나, 3D 효과를 적용할 수 있습니다. 실제로는 이전 분할과 통합되어 관심 있는 부분을 분리하고, 복잡한 중간 단계 없이 3D로 재구성.

이전 세대에 비해 새로운 기능

SAM 1과 SAM 2는 시각적 단서에 크게 의존하여 세분화에 혁신을 일으켰습니다. 그러나 장황한 해석이나 미묘한 자연어 설명을 제공해야 할 때는 어려움을 겪었습니다. SAM 3은 다음과 같은 기능을 통합하여 이러한 장벽을 극복했습니다. 다중 모드 이해 텍스트와 비전을 보다 직접적으로 연결합니다.

Meta는 새로운 벤치마크로 진행 상황을 동반합니다. 개방형 어휘 분할실제 상황에서 텍스트 기반 분할을 평가하기 위해 설계되었으며, SAM 3 가중치가 발표되었습니다. 이를 통해 연구자와 개발자는 방법 간 결과를 엄격하게 측정하고 비교할 수 있습니다.

Meta에서 공유한 데이터에 따르면, SAM 3D Objects는 재설계를 통해 기존 방식보다 크게 개선되었으며, 체크포인트, 추론 코드, 평가 세트도 함께 공개되었습니다. SAM 3D Body와 함께 Meta는 다음과 같은 기능을 출시합니다. SAM 3D 아티스트 객체, 다양한 이미지의 3D 품질을 평가하기 위해 아티스트와 함께 만든 새로운 데이터 세트입니다.

실제 응용 프로그램 및 즉각적인 사용 사례

메타는 이러한 기능을 자사 제품에 통합하고 있습니다. 인스타그램과 페이스북용 동영상 도구인 "편집"에서는 고급 세분화 기능을 사용하여 동영상에 효과를 적용하고 있습니다. 특정 사람이나 사물 이미지의 나머지 부분에는 영향을 주지 않습니다. 이를 통해 품질 저하 없이 배경 변경, 선택적 필터 적용 또는 특정 대상에 대한 변환이 용이해집니다.

Vibes, Meta AI 앱, 그리고 meta.ai 플랫폼에서도 이러한 기능을 만나볼 수 있으며, 새로운 편집 및 크리에이티브 경험을 제공합니다. 복잡한 지시를 통해 사용자는 수정하고 싶은 내용을 설명할 수 있으며, 시스템은 그에 따라 자동으로 응답합니다. 후반 작업 자동화 예전에는 힘든 일이었습니다.

상거래 분야에서는 페이스북 마켓플레이스의 "View in Room" 기능이 눈에 띕니다. 자동 생성된 3D 모델을 통해 가구나 조명이 집에 어떻게 보일지 미리 볼 수 있습니다. 이 기능은 불확실성을 줄이고 구매 결정을 개선합니다제품을 물리적으로 볼 수 없는 경우의 핵심은 다음과 같습니다.

그 영향은 로봇공학, 과학, 교육, 스포츠 의학까지 확대됩니다. 간단한 사진으로부터 3D 재구성을 통해 시뮬레이터에 데이터를 제공하고, 해부학적 참조 모델을 생성하고, 이전에는 특수 장비가 필요했던 분석 도구를 지원할 수 있습니다. 이 모든 것이 새로운 워크플로 연구와 훈련에 참여하고 있습니다.

Segment Anything Playground: 마찰 없이 테스트하고 생성

접근성을 민주화하기 위해 Meta가 출시되었습니다. 무엇이든 세분화하세요 놀이터누구나 이미지나 비디오를 업로드하고 SAM 3와 SAM 3D를 실험해 볼 수 있는 웹사이트입니다. 인터페이스는 클래식 편집기의 "마법 지팡이"를 연상시키며, 우리가 선택하고 싶은 것을 쓰세요 또는 몇 번의 클릭만으로 세부적으로 조정할 수 있습니다.

또한 Playground는 즉시 사용 가능한 템플릿을 제공합니다. 여기에는 다음과 같은 실용적인 옵션이 포함됩니다. 얼굴이나 번호판을 픽셀화하다모션 트레일이나 스포트라이트와 같은 더욱 창의적인 효과를 사용할 수 있습니다. 이를 통해 신원 보호 작업이나 눈길을 끄는 효과를 단 몇 초 만에 구현할 수 있습니다.

SAM 3D를 사용하면 분할 외에도 새로운 관점에서 장면을 탐색하고, 재구성하고, 3차원 효과를 적용할 수 있습니다. 3D나 컴퓨터 비전에 대한 사전 지식이 없는 사람도 누구나 이러한 작업을 수행할 수 있도록 하는 것이 목표입니다. 허용 가능한 결과를 달성하다 몇 분 안에 아무것도 설치하지 않고도 가능합니다.

모델, 오픈 리소스 및 평가

Meta는 커뮤니티가 최첨단 기술을 발전시킬 수 있도록 지원하는 리소스를 공개했습니다. SAM 3의 경우 다음 리소스를 사용할 수 있습니다. 모델 가중치 공개 어휘 벤치마크와 아키텍처 및 학습 과정을 자세히 설명하는 기술 문서가 함께 제공됩니다. 이를 통해 재현성과 공정한 비교가 용이해집니다.

3D 측면에서 회사는 제어점, 추론 코드, 그리고 차세대 평가 제품군을 출시했습니다. SAM 3D Objects와 SAM 3D Body의 이중성을 통해 포괄적인 적용이 가능합니다. 일반 사물과 인체 각 사례에 맞게 측정 항목을 조정하는 것은 기하학적, 시각적 충실도를 평가하는 데 필수적입니다.

아티스트와 협업하여 SAM 3D 아티스트 오브젝트를 제작하면 기술적인 기준뿐 아니라 미적 및 다양성 기준도 평가에 반영됩니다. 이는 3D 재구성을 유용하게 만드는 데 핵심적인 요소입니다. 창의적이고 상업적인 환경사람들이 인지하는 품질이 차이를 만듭니다.

텍스트 분할: 예시와 장점

SAM 3를 사용하면 "빨간색 야구 모자"를 입력하면 시스템이 이미지 또는 비디오 전체에서 일치하는 모든 항목을 식별합니다. 이러한 정확도 덕분에 "빨간색 야구 모자"만 입력해도 충분한 편집 워크플로우가 가능해집니다. 짧고 명확한 문장 요소를 분리하고 효과나 변형을 적용합니다.

다중 모드 언어 모델과의 호환성을 통해 제외 또는 조건("빨간 모자를 쓰지 않은 사람이 앉아 있는 경우")을 포함한 더욱 풍부한 지침을 제공할 수 있습니다. 이러한 유연성을 통해 수동 작업 시간을 줄이고 선택 오류 이전에는 손으로 수정한 내용입니다.

대규모 콘텐츠를 제작하는 팀의 경우, 텍스트 기반 세분화는 파이프라인을 가속화하고 결과를 표준화하는 것을 더 쉽게 해줍니다. 예를 들어 마케팅에서는 제품군에 필터를 적용하여 일관성을 유지할 수 있습니다. 시간과 비용을 절감합니다 생산의.

소셜 미디어 편집 및 디지털 창의성

Edits 통합으로 Instagram 및 Facebook 크리에이터에게 고급 후반 작업 기능이 제공됩니다. 이전에는 복잡한 마스크가 필요했던 필터를 이제 텍스트 명령과 몇 번의 클릭만으로 적용할 수 있으며, 가장자리와 섬세한 디테일 프레임 하나하나가 안정적입니다.

게시 일정이 중요한 짧은 영상의 경우, 이러한 자동화 기능은 매우 유용합니다. 클립의 배경을 변경하거나, 한 사람만 강조하거나, 특정 객체를 변형하는 데 더 이상 수동 워크플로가 필요하지 않으며, 효과를 민주화하다 이전에는 전문가만 이용할 수 있었던 기능입니다.

한편, Vibes와 meta.ai는 언어 기반 편집 및 창의성을 통해 경험의 범위를 확장하고 있습니다. 원하는 것을 자세히 설명할 수 있게 됨으로써 아이디어에서 결과로 이어지는 과정이 단축되고, 이는 더욱 창의적인 반복 짧은 시간에.

상업, 과학, 스포츠: 엔터테인먼트 그 이상

페이스북 마켓플레이스의 "View in Room"은 실질적인 가치를 잘 보여줍니다. 구매하기 전에 거실에 놓인 램프나 가구를 직접 보면 반품을 줄이고 신뢰를 쌓을 수 있습니다. 이러한 가치의 배경에는 이미지에서 시작하여 시각화를 위한 3D 모델 상황에 맞는.

과학 및 교육 분야에서는 간단한 사진을 바탕으로 재구성하면 교육 자료와 사실적인 시뮬레이터 제작 비용을 절감할 수 있습니다. AI로 생성된 해부학적 모형은 교실이나...에서 보조 도구로 활용될 수 있습니다. 생체역학적 분석콘텐츠 준비 가속화.

스포츠 의학에서 체성분 분석과 형태 재구성을 결합하면 값비싼 장비 없이도 자세와 동작을 연구할 수 있는 도구가 제공됩니다. 이는 다음과 같은 가능성을 열어줍니다. 더 빈번한 평가 원격 모니터링.

개인정보 보호, 윤리 및 모범 사례

이러한 도구의 힘은 책임감을 요구합니다. 동의 없이 사람들의 이미지를 조작하는 것은 법적, 윤리적 문제를 야기할 수 있습니다. 이미지 재구성은 피하는 것이 좋습니다. 낯선 얼굴들허가 없이 모델을 공유하지 마시고, 혼란이나 피해를 줄 수 있는 민감한 장면을 변경하지 마십시오.

메타는 오용을 줄이기 위한 조치를 발표했지만, 궁극적인 책임은 기술 사용자에게 있습니다. 이미지 출처를 확인하고 개인 정보를 보호하는 것이 좋습니다. 맥락을 평가하다 개인 정보가 노출될 수 있는 3D 모델을 게시하기 전에.

전문적인 환경에서는 검토 및 동의 정책을 수립하고 AI 생성 콘텐츠에 명확한 라벨을 지정하는 것이 책임감 있는 사용에 기여합니다. 이러한 주제에 대한 팀 교육은 다음과 같은 측면에서 도움이 됩니다. 나쁜 관행을 방지하다 이미 사건에 신속하게 대응하고 있습니다.

SAM 3D를 사용하여 사람과 물체를 3D 모델로 변환하는 방법: 시작 방법

바로 실험해 보고 싶다면 Anything Playground 세그먼트가 바로 그 시작점입니다. 사진이나 비디오를 업로드하고, 선택하고 싶은 것을 입력한 후, 간단한 인터페이스에서 3D 재구성 옵션을 시험해 볼 수 있습니다. 기술 프로필은 [추가 옵션]에서 확인하실 수 있습니다. 무게, 체크포인트 및 코드 맞춤형 테스트를 용이하게 해줍니다.

연구자, 개발자, 아티스트는 벤치마크, 평가 데이터 세트, 문서 등을 포함하는 생태계를 보유하고 있습니다. 목표는 진행 상황을 측정하고 도입을 가속화하기 위한 공통 기반을 구축하는 것입니다. 다른 섹션디지털 창의성부터 로봇공학까지.

가장 흥미로운 점은 이러한 도약이 전문가에게만 국한되지 않는다는 것입니다. 학습 곡선이 단축되고 있으며, 이러한 기능들이 일상적인 앱에도 적용되고 있습니다. 모든 것을 고려하면 편집과 3D 기능이 앞으로도 워크플로에 통합될 가능성이 높습니다. 자연어는 인터페이스입니다.

Meta는 SAM 3와 SAM 3D를 통해 모든 규모의 크리에이터와 팀에 텍스트 분할 및 단일 이미지 재구성 기능을 제공합니다. Playground, Edits 통합, 오픈 리소스, 그리고 상거래, 교육, 스포츠 분야의 애플리케이션을 통해 탄탄한 기반을 다지고 있습니다. 이미지와 볼륨을 다루는 새로운 방식 정확성, 접근성, 책임감을 결합한 것입니다.