Kinect的演变和微软研究院的真正重要性
目录:
Kinect对微软很重要几乎是不言而喻的。 Redmond 捕获设备远远超出了控制其视频游戏机的简单方法,并已成为其战略的重要组成部分和许多产品的参考。但它也是公司部门与 Microsoft Research ideas laboratory 的结合可以产生什么的有形样本。
第一代Kinect就是一个例子。三年后,正是同一个联合使该设备随着 Xbox One 的发布而发展到意想不到的极限。在它的所有部分Kinect 2.0 代表了对其前身 的显着改进,并且在本周内,Microsoft 借此机会解释了它如何成为小工具开发过程的一部分它正在成为人机交互的基础部分。
Kinect 1.0
当微软于2009 年6 月在E3 上展示Project Natal 时,许多人从中看到了雷德蒙德对任天堂在Wii 及其控制系统上取得的毋庸置疑的成功的简单回应。但在那个以巴西城市为名的项目下隐藏着Kinect,这个设备最终成为毫无疑问的畅销书随着时间的推移,它变得越来越受欢迎。超出预期。
虽然第一台Kinect背后的技术诞生于Rare工作室的软件开发和以色列公司PrimeSense的图像捕捉技术,但它将是的结合Xbox团队与微软研究院的调查使得进入市场成为可能
杆状装置使用红外投影仪和摄像头扫描场景并将信息发送到专门准备的微芯片,以捕捉物体和人的三维运动。它们由一排能够识别用户声音的麦克风连接。所有这些元素一起允许 3D 动作捕捉以及面部、手势和语音识别。
对于这样的任务,Kinect 规范并没有什么特别之处。该相机具有 VGA 分辨率,默认情况下以 640x480 运行,尽管它能够以较低的刷新率为代价以 1280x1024 像素运行。附带的微芯片只进行了信息处理的一部分工作,把很大一部分任务留给了控制台本身。
整个系统的关键之一在于微软开发的用于解释Kinect传感器收集的所有信息的软件。这就是Microsoft Research 发挥并将继续发挥重要作用的地方,调查Kinect 最多样化的用途,并就微软自2011 年以来在线提供的SDK 开展协作以便任何开发人员将其集成到他们的产品或服务中。
Kinect 2.0
新Kinect与其前身的最大区别在于新的主摄像头。第二代动作捕捉设备集成了高分辨率飞行时间(TOF)相机,让即将推出的Xbox One Kinect能够捕捉更多细节高精度和高分辨率。这款 TOF 相机提供的新深度模式可让您再现比第一代 Kinect 保真度高三倍的场景。
这不是使用此类相机的唯一优势。有了它,还实现了 60% 更大的视野,这使得可以注册的空间更大,并且可以同时注册更多的人,并且与设备的距离更短。使用新控制台,最多可有 6 人出现在舞台上,识别并区分他们的所有动作。与只能记录 2 的运动的前身相比,这是一个重大进步。
新一代Kinect的第二个大变化来自新的红外传感器手中的可以识别物体和人在非常低的光照条件下。该传感器现在非常强大,可以在完全黑暗的房间中识别物品。精度如此之高,即使没有人眼可见的光线,它也能识别人和登记身体。在昏暗的光线下,它可以识别四米远的手的姿势,精确地区分每个手指。
Kinect 2.0可以区分用户的完整骨骼、四肢的方向、身体的肌肉,甚至心跳。
新元素的组合使得不仅可以记录用户的轮廓,还可以区分他们的完整骨骼、四肢的方向、身体肌肉的受力和重量分布施加在他们身上,甚至是心跳。面部识别也得到了极大的改进,即使是最小的细节和手势也能检测到,并允许更精确的识别。要了解这一切意味着什么,只需看看下面的视频。
所有这些新技术还对Kinect处理器进行了改进,使其能够处理所有新传感器获取的海量信息。设备每秒收集高达2 吉比特的数据以读取环境所有这些信息都必须快速处理和解释,为此必须对机器规格进行明显改进。
但是改变组件还不够。 Kinect 已经成为强大的扫描仪,需要能够解释它所看到的一切的软件,为此,有必要对运行它的代码进行重要的改进。这就是Microsoft Research的经验和知识变得比以往任何时候都更加重要的地方,在出现问题的地方帮助Xbox团队并及时提供正确的解决方案。快速高效。因此,Kinect 2.0 成为合作的产物,其历史证明了微软隐藏在其思想实验室中的潜力。
进化的过程
Kinect 的进化讲述了一组工程师如何尝试将 TOF 相机带入 Xbox One 的故事。这些类型的相机发出光信号,这些信号从物体上反射回来,并通过测量移动距离所需的时间被收集回来。为了让它们正常工作,区分房间内物体及其环境的反射,高达 1/10 亿秒的精度是必要的。这样的精度水平是提供足够信息以允许充分计算对象的形状和轮廓的唯一方法。
听起来很复杂,问题是要用消费品达到这些水平就像看起来一样困难。在新Kinect的开发过程中,遇到了各种各样的问题,必须在有限的时间内解决。 Kinect 2.0 应该准备好伴随Xbox One 的发布,计划于2013 年底发布。
在这种情况下,微软有一张王牌:微软研究院,你的智囊团Kinect 背后的团队利用 Microsoft Research 成员的丰富知识和技术经验来解决随着新技术集成到设备中而出现的各种问题。由于公司不同部门之间的通力合作,多年的研发投资开始结出硕果。
微软研究院的部分研究人员与 Kinect 团队合作进行算法和参数优化,而其他人则专注于数据和软件,以计算传感器记录的深度。意识到引入 TOF 相机的挑战,研究人员不得不重新学习 Kinect 背后的技术如何工作,以帮助软件团队处理手部和面部识别算法。
挑战并不容易。区分前景对象和背景并最大程度地减少相机模糊是一项艰巨的任务。首先,必须在各种场景和各种光线条件下准确测量小物体。有必要努力工作,直到可以区分手的手指,以防止它们与环境混淆。由于这项工作新的Kinect 能够检测小至2.5 厘米的物体,而其前身为7.5 厘米。模糊问题需要更多的工作和软件优化,但随着时间的推移,微软工程师能够将运动模糊从原始 Kinect 的 65 毫秒减少到其后继产品的 14 毫秒。
所有这些任务都需要处理大量信息。 Kinect 相机捕获的数据是基于每个像素的,这意味着Kinect 传感器支持的220,000 个像素中的每个像素都独立收集数据为此,我们必须添加更多由其余传感器收集的信息。复杂的问题是设法识别和解释所有这些信息,分离元素和它们被发现的深度,并消除图像中的噪声。
使用Kinect,Xbox One每秒需要处理650万像素
"Xbox One 每秒需要处理 650 万像素,只有一小部分控制台的计算能力可以专门用于解释信息的任务,因为必须为游戏、骨骼保留大部分能力跟踪,或面部或音频识别。每个像素需要的计算非常少,需要清理>如果没有微软研究院的宝贵帮助,Kinect 团队将永远无法按时实现他们的目标"
微软研究院的有效重要性
Kinect 团队与微软研究院人员的联合工作并不是纯粹的咨询关系。 微软的研究人员承担了很多工作,并构建了一整套基础设施和软件来解决处理设备进化过程中涉及的问题。两个团队在各自领域的知识使得比单独前进更快成为可能。
关键是他们集成的速度和在短时间内提供解决方案的能力。但所有这些工作并不仅限于将产品上市销售。额外的好处是开发人员可以使用 Redmond 工程师取得的进步,允许使用更多的视图模式和更清晰的数据。
Kinect 揭示了微软作为一家公司隐藏的所有潜力,当其部门以集成方式工作时,这些潜力就会显现出来。多名 Microsoft Research 研究人员一直积极参与 Kinect 2.0 的开发,致力于一个将产生直接市场影响的项目。对于我们这些一直要求微软研究院更多参与雷德蒙产品的人来说,这是个好消息。
Kinect也是微软研究院不仅仅是思想实验室的有形展示,它是微软未来的基础资本 .
通过|微软官方博客 | TechCrunch