Plain Concepts 与 Microsoft 合作开发 Virtual Stage

这些虚拟场景, 在微软构建中使用 2020, 它们是用扬声器录音机应用程序设计的, 允许您使用一台或两台 Azure Kinect 设备录制会议, y 背景抠图, 使用人工智能模型和传感器信息去除背景.

西班牙公司 简单的概念 与研究和人工智能团队合作 (IA) 的 微软 在虚拟场景的开发中 (虚拟舞台) 这让我们能够在线庆祝 微软构建 2020, 与雷蒙德公司开发人员的大型会议, 其中揭示了其工具和服务的最新更新.

基于 AI 和 Azure Kinect 构建, 该解决方案使 Build 演讲者能够在家中进行演示，就像在舞台上一样. 自始至终 48 现场会议的小时数向所有注册者开放, 开发人员能够以与现场相同的图像和音频质量来欣赏专家的演示.

这一里程碑的实现得益于 Virtual Stage, 该应用程序利用 Azure Kinect 的强大功能和 AI 的最新进展来录制家中的扬声器，就像他们在专业录音室中在色度键前讲话一样。. 这些录音被发送到可以创建虚拟场景的后期制作。, 动画或不同的组合.

Virtual Stage 有两个组件: 扬声器录音应用程序, 允许您使用一台或两台 Azure Kinect 设备录制会议, y 背景抠图, 一款可以高质量去除背景的应用程序, 使用复杂的 AI 模型和来自 Azure Kinect 传感器的信息.

扬声器录音机应用从一两个 Azure Kinect 摄像头捕获颜色和深度信息 (可使用两台摄像机记录同一会议的两个角度). 除了, 演讲者可以使用演示者滚动浏览 PowerPoint 幻灯片和无线麦克风. 当他们完成时, 视频上传到 Azure 进行处理.

蔚蓝, 背景抠图应用程序使用从 Azure Kinect 获得的深度信息通过身体分割生成遮罩，随后使用 AI 模型来提高所述遮罩的精度，并在有头发或手指的区域提供更好的裁剪. 该遮罩将在最后一步中用于剪切演讲者的颜色信息并生成具有透明背景的新视频，现在可以用虚拟舞台的背景替换该视频。.

背景抠图基于华盛顿大学的一项新技术. 由于缺乏描述站立人类的标记训练数据, 原始 AI 使用 512x512 方形图像/视频进行训练，直至臀部或膝盖.

实现头发等区域的高质量特写, 手或脚对原始方法做出了两个重要贡献.

第一的, 使用 Azure 身体跟踪 SDK 中的 AI 模型替换了原始分割步骤, 通过图像的颜色相似性和模糊区域实现更宽容的分割.

后, 将身体分割成两个有小重叠的方形图像并分别处理. 这使得模型能够更好地“看到”困难区域，例如脚之间的阴影, 不会失去头发或手部的精确度.