你可能见过好莱坞明星身穿的动捕套装的样子,而计算机可以利用相应的传感器信息来将他们的表演转换成绿巨人或智慧猿人。
现在,普林斯顿教授Mala Murthy和Joshua Shaevitz的联手合作则更进一步,利用人工智能的最新进步来追踪动物的身体运动。

只需数分钟,他们研发的工具LEAP Estimates Animal Pose(LEAP)就能够以高精度自动追踪数百万帧视频中的各个动物身体部位,无需添加任何物理标记或标签。
详细介绍这项新技术的论文将发表在2019年1月出版的《Nature Methods》期刊上,但他们于5月推出的公开访问版本已经促使其他一系列的实验室采用了他们的软件。
相关论文:Fast animal pose estimation using deep neural networks
物理学教授Shaevitz指出,当研究人员将LEAP与其他定量工具相结合时,他们可以观察动物的运动模式,并研究所谓的“行为语言”。
普林斯顿神经科学研究所的研究生,论文第一作者Talmo Pereira说道:“这是一个灵活的工具,原则上可用于任何视频数据。具体的工作方式是,在几个视频中标记几个追踪点,然后神经网络即可完成剩下的工作。我们提供了一个易于使用的界面,任何人都可以将LEAP应用到自己的视频中,无需任何编程知识。”
当被问及LEAP在大型动物身上是否能实现跟苍蝇和老鼠等小型动物一样的效果时,Pereira马上制作了一个动态标记的长颈鹿视频。
Pereira解释说:“我们从Mpala研究站拍摄了一只长颈鹿的步行视频…并在30个视频帧中标记了追踪点,整个过程花了不到一个小时。LEAP随后能够在几秒钟内追踪整个视频的剩余部分(大约500帧)。”
在以前,开发可以追踪人体运动的AI工具依赖于大量手动标记数据的训练集,因为只有这样软件才可以稳健地支持具有截然不同背景或照明条件的不同数据。
Murthy对此则表示:“对于我们的情况而言,我们优化了类似的方法来处理实验室环境中采集的数据。我们建立了一个允许用户选择适合采集数据类型的神经网络的系统。”
这项研究在神经科学以外同样有着巨大的潜力,例如游戏,虚拟现实和增强现实。因为传统的动物动捕成本十分高昂,而且复杂,不适合小型工作室。但对于这种快速,适应性强,简单,并且原则上可用于任何视频数据的AI解决方案,它有可能成为游戏,以及虚拟现实和增强现实领域的福音。
热门推荐
-
福特使用TeamViewer AR增强现实技术提升其全球车辆维修效率
2021-11-29 -
接连获得推荐,全球知名媒体持续关注海信激光电视
2021-11-27 -
台积电对决三星,4nm制程之王花落谁家?天玑9000交出恐怖答案
2021-11-26 -
孩子学习“问题”不断,一支笔凭啥解决90%的问题
2021-11-26
热门专题
每日资讯更多+
-
“元宇宙”为何爆火?游戏ETF带来怎样的投资机遇?
2021-12-27 -
ar和vr的区别就是和用途 AR、VR是真火还是虚火?是复活还是重生?
2021-12-27 -
2021年VR/AR产业链日趋成熟,行业爆发在即
2021-12-27 -
未来5-10倍的VR/AR概念5大龙头公司
2021-12-27 -
VR全景漫游系统功能有哪些?自考院校/专业介绍
2021-12-23 -
又一家科技巨头加入直播大潮之中扎克伯格高度关注直播
2021-12-23
VR设备 更多+
-
V社自家VR设备获IGN 8.5分
2019-07-01 -
ARM显示芯片的设计可以为VR一体机带来更好的体验
2019-05-16 -
来自Bellevue的Valve Index原型VR硬件照片曝光
2019-05-16 -
Acer推出ConceptD OJO 4K Windows MR头显
2019-04-12
VR网站 更多+
-
鸥课学院
2017-09-12 -
玖的VR
2017-08-10 -
ARinChina技术论坛
2017-07-15 -
虚幻引擎社区
2017-07-15