使用 Meta 的 SAM 3 和 SAM 3D 将人物和物体转换为 3D 模型。

¿如何使用 SAM 3D 将人物和物体转换为 3D 模型？ 人工智能应用于视觉领域正在产生巨大影响，现在，除了精确抠图之外，它还可以…… 将单张图像转换为 3D 模型 Meta 推出了新一代工具，无需高级设备或专业知识，即可将编辑、视觉世界理解和三维重建融为一体，助您从多个角度进行探索。

我们正在讨论的是SAM 3和SAM 3D，这两个模型旨在改进检测、跟踪和分割，并带来…… 物体和人物的三维重建 面向广大用户。他们的方案旨在同时理解文本指令和视觉信号，从而使剪切、变换和重构元素就像输入所需内容或点击几下鼠标一样简单。

SAM 3 和 SAM 3D 是什么？它们之间有什么区别？

Meta 的 Segment Anything 系列新增两款产品：SAM 3 和 SAM 3D。前者专注于以新一代的精度识别、跟踪和分割照片和视频中的物体，而后者则专注于…… 从单张图像重建三维几何形状和外观包括人、动物或日常用品。

功能上的区别显而易见：SAM 3 负责“理解和分离”视觉内容，而 SAM 3D 则利用这种理解来“创建”三维体数据。通过这种组合，以前需要复杂软件或专用扫描仪才能完成的工作流程变得简单易行。 更方便快捷.

此外，SAM 3 不仅限于基本的视觉提示。它还提供自然语言引导的分割功能，能够进行解释。 非常精确的描述我们不再仅仅谈论“汽车”或“球”，而是使用“红色棒球帽”之类的短语，以便在场景中精确定位这些元素，甚至在视频中也是如此。

同时，SAM 3D 提供两种互补版本：SAM 3D Objects，专注于…… 物体和场景SAM 3D Body 经过专门训练，能够估算人体形状和形态。这种专业化使其应用范围涵盖从消费品到肖像和姿势的各个方面，从而为创意、商业和科学应用打开了大门。

他们是如何从单张图像中分割和重建的？

关键在于利用大量数据训练的架构，建立文字和像素之间的直接联系。该模型能够同时理解书面指令和视觉信号（点击、点或方框），从而实现…… 将请求翻译成特定领域 照片或视频帧。

这种对语言的理解超越了传统的类名。SAM 3 可以处理复杂的指令、排除项和细微差别，从而实现诸如“坐着但没有戴红帽子的人”之类的查询。这种兼容性与 详细的文本提示 它解决了以往模型的一个历史局限性，即容易混淆细粒度概念。

然后，SAM 3D 就派上了用场：它以图像为起点，生成三维模型，使您可以从其他角度查看物体、重新组织场景或应用 3D 效果。实际上，它与之前的分割结果相结合，以提取我们感兴趣的部分，因此， 无需复杂的中间步骤即可重建 3D 模型.

与前几代产品相比，新增功能

SAM 1 和 SAM 2 通过大量依赖视觉线索革新了图像分割技术。然而，当需要提供冗长的解释或细致入微的自然语言指令时，它们却显得力不从心。SAM 3 通过整合……突破了这一障碍。 多模态理解 它将文本和视觉更直接地联系起来。

Meta 伴随着这一进展，提出了一个新的基准 开放词汇分割该工具旨在评估真实场景下的文本引导分割效果，并发布 SAM 3 权重。通过这种方式，研究人员和开发人员可以严格地衡量和比较不同方法的结果。

根据 Meta 分享的数据，重新设计的 SAM 3D Objects 在以往方案的基础上进行了显著改进。Meta 还发布了检查点、推理代码和评估数据集。除了 SAM 3D Body 之外，该公司还发布了其他产品。 SAM 3D艺术家对象这是一个与艺术家共同创建的新数据集，用于评估各种图像的 3D 质量。

实际应用和直接用例

Meta正在将这些功能集成到其产品中。在其面向Instagram和Facebook的视频工具“Edits”中，高级分割技术已被用于为视频添加特效。 特定的人或物 不会影响图像的其他部分。这使得在不牺牲图像质量的前提下，可以进行背景更改、选择性滤镜或目标变换。

我们还将在Vibes、Meta AI应用程序以及meta.ai平台上看到这些功能，它们将带来全新的编辑和创作体验。通过允许用户输入复杂的指令，他们可以描述想要修改的内容，系统会做出相应的响应。 自动化后期制作任务 那以前很费力。

在电商领域，Facebook Marketplace 的“房间预览”功能脱颖而出，它通过自动生成的 3D 模型，帮助用户直观地了解家具或灯具在家中的实际效果。这项功能降低了用户的不确定性，并能帮助用户做出明智的选择。 改善购买决策这是我们无法亲眼看到产品时的关键点。

其影响范围涵盖机器人、科学、教育和运动医学等领域。利用简单的照片进行3D重建可以为模拟器提供数据，创建解剖参考模型，并支持以前需要专用设备的分析工具。所有这些都促进了…… 新的工作流程 用于研究和培训。

分割万物游乐场：轻松测试和创建

为了实现访问民主化，Meta 推出了 任何游乐场这是一个任何人都可以上传图片或视频并体验 SAM 3 和 SAM 3D 的网站。它的界面让人想起经典编辑器的“魔杖”，其优势在于我们可以…… 写下我们想要选择的内容 或者只需点击几下即可进行优化。

此外，Playground 还提供现成的模板。这些模板包含一些实用选项，例如： 像素化的人脸或车牌以及更多创意特效，例如动态轨迹或聚光灯效果。这使得在几秒钟内实现身份保护或引人注目的效果成为可能。

除了图像分割之外，用户还可以使用 SAM 3D 从新的角度探索场景、重新排列场景或应用三维效果。其目标是让任何没有 3D 或计算机视觉方面知识的人都能做到这一点。 取得可接受的结果 几分钟即可完成，无需安装任何东西。

模型、开放资源和评估

Meta 发布了一些资源，以帮助社区推进技术发展。对于 SAM 3，以下资源可供使用： 模型权重 此外，还提供了一个开放词汇基准测试和一篇详细介绍架构和训练过程的技术论文。这有助于结果的可复现性和公平的比较。

在3D领域，该公司发布了控制点、推理代码和新一代评估套件。SAM 3D Objects和SAM 3D Body的双重功能使其能够实现全面的覆盖。 一般物体和人体 针对每个案例采用不同的指标，这对于评估几何和视觉保真度至关重要。

与艺术家合作创作SAM 3D艺术家作品，将美学和多样性标准（而不仅仅是技术标准）引入评估体系。这对于使3D重建技术真正发挥作用至关重要。 创意和商业环境人们感知到的品质决定了最终结果。

文本分割：示例和优势

使用 SAM 3，您只需输入“红色棒球帽”，系统即可识别图像或视频中所有匹配项。这种精准度使得只需输入“红色棒球帽”即可完成编辑工作流程成为可能。 句子简短明了 将元素分离并对其应用效果或转换。

与多模态语言模型的兼容性使得指令更加丰富，可以包含排除项或条件（例如“未戴红帽子的坐着的人”）。这种灵活性减少了人工工时并降低了成本。 选择误差 这些错误之前都是手工修正的。

对于大规模内容创作团队而言，基于文本的细分可以加快内容制作流程，并更容易实现结果标准化。例如，在市场营销中，可以通过对产品系列应用筛选条件来保持一致性，而这恰恰是…… 节省时间和成本 的生产。

社交媒体编辑和数字创意

Edits 的集成为 Instagram 和 Facebook 创作者带来了高级后期制作功能。以前需要复杂蒙版才能应用的滤镜，现在只需一条文本命令和几次点击即可应用，同时还能保持 边缘和细节 画面稳定，一帧一帧地呈现。

对于时长较短、发布周期至关重要的视频片段来说，这种自动化功能简直太棒了。更改视频片段的背景、突出显示某个人物或变换特定物体不再需要手动操作，而且 使效果民主化 以前只有专业人士才能享受到的服务。

与此同时，Vibes 和 meta.ai 正在利用语言引导的编辑和创意功能拓展用户体验的范围。通过详细描述我们想要的东西，从想法到结果的转化过程得以缩短，这意味着： 更具创意的迭代 用更少的时间。

商业、科学和体育：超越娱乐

Facebook Marketplace 上的“实景查看”功能充分体现了其实用价值：在购买前先在客厅里看到灯具或家具，可以减少退货并建立信任。其背后是一个完整的流程，从图片开始，最终生成…… 用于可视化的 3D 模型 上下文。

在科学和教育领域，利用简单的照片进行重建可以降低制作教学材料和逼真模拟器的成本。人工智能生成的解剖模型可以作为课堂教学或其他应用场景的辅助工具…… 生物力学分析加快内容准备速度。

在运动医学领域，将身体成分分析与形态重建相结合，无需昂贵的设备即可研究姿势和动作。这为以下方面开辟了新的可能性： 更频繁的评估 以及远程监控。

隐私、道德和良好实践

这些工具的强大功能也要求我们承担相应的责任。未经他人同意篡改其图像可能引发法律和伦理问题。因此，建议避免对图像进行重建。 陌生的面孔未经许可请勿分享模型，请勿修改可能造成混淆或伤害的敏感场景。

Meta 宣布了旨在减少滥用的控制措施，但最终责任在于技术用户。建议用户验证图像来源、保护个人数据，并 评估背景 在发布可能泄露私人信息的 3D 模型之前。

在专业领域，制定审核和同意政策，并明确标注人工智能生成的内容，有助于负责任地使用人工智能。对团队进行这些方面的培训也有助于…… 防止不良行为 对突发事件能够迅速做出反应。

如何使用 SAM 3D 将人物和物体转换为 3D 模型：入门指南

如果您想立即进行实验，“万物游乐场”模块是入口。您可以在这里上传照片或视频，输入您想要选择的内容，并在简洁的界面中尝试 3D 重建选项。对于技术用户，[还有更多选项可供选择]。 权重、检查点和代码 便于进行定制化测试。

研究人员、开发人员和艺术家拥有一个包含基准测试、评估数据集和文档的生态系统。其目标是为衡量进展和加速应用建立共同基础。 不同的部分从数字创意到机器人技术。

最有趣的是，这种飞跃并非专业人士的专属：学习曲线正在缩短，各种功能也正在普及到日常应用程序中。种种迹象表明，编辑和 3D 技术将继续融入到各种工作流程中。 自然语言是界面.

Meta 通过 SAM 3 和 SAM 3D，为各种规模的创作者和团队带来文本分割和单幅图像重建功能。凭借 Playground、与 Edits 的集成、开放资源以及在商业、教育和体育领域的应用，Meta 正在构建一个坚实的基础。 图像和体积处理的新方法 兼具准确性、易用性和责任感。