世界超市世界超市

Tobii拿眼球追踪技术观察钢琴家,他们弹琴时都在看哪?

对于AR和VR这样的沉浸式技术来说,不仅需要了解我们的世界,还要了解我们自己本身,所以我们需要捕捉更多的生物特征信息。上个月,我们报告了一个使用虚拟现实研究人类感知的迪斯尼研究项目。任务很简单,就是接球,但是大脑和身体如何进行协调却超出了我们的想象。现在,眼球跟踪技术领袖Tobii和Function合作,让专业钢琴家带上了眼球追踪眼镜,钢琴家Daniel Beliavsky进行了实验,结果很有趣,也充分体现了我们对自己的感知的了解还十分浅薄。下面的动图是从Beliavsky的第一视角拍摄的,黄点表示他的目光聚焦的位置。他的眼睛并没有盯着自己的手,而是不断地在手的旁边转动,以确保手指按下正确的琴键。同时黄点也经常落在两手之间,以便同时注意两只手的动作。这个视频不仅突出了眼球跟踪在沉浸式技术中作为输入的潜力,也展示出了使用原始数据来理解用户意图的艰辛。虽然我们可以利用眼球跟踪实现移动渲染(foveated rendering)等技术层级上的东西,但是目前很少使用它来直接进行交互。只依靠Beliavsky眼动作为输入来预测下一个可能的动作非常困难,因为在这种情况下大脑、手和眼睛的相互作用极为复杂。更何况Beliavsky同时使用肌肉记忆和整体视觉来进行他的表演,所以他的眼睛看哪并不具有完全的决定性。在这种情况下,原始数据甚至会和用户的意图相左。要想生物数据被用在技术层面之外的地方,关隘就是用生物数据来判断用户的意图。我们越了解人类的感知,我们创造的虚拟和增强世界将越真实。总有一天我们能够完全模拟人类感知的输入和输出,但现在我们的前方任然还有星辰大海……

上一条:库存告急!HTC Vive追踪器开发者版本快卖光了?

相关推荐