全景资讯 News这里有最新、最快、最全的全景行业动态

当前位置:全景首页 > 全景资讯 > 360/720全景行业动态 >

Interaxon用脑电波采集大脑数据,为VR应用提供支持

日期:2018-07-18 / 人气:

Interaxon从开发冥想工具Muse头带这样的可穿戴设备发家,而他们现在正把他们的知识经验应用到虚拟现实。他们最新的Muse Virtual Reality设备能够支持HTC Vive和三星Gear VR来读取用户的脑波,并且采集它们是如何对刺激做出反应的信息。这家公司计划在今年Q2季度推出软件开发套件,并在Q4季度铺开产品。

跟Muse头带类似,Muse Virtual Reality采用EEG技术来捕获用户的脑部活动。相关数据能够为开发者提供一系列的信息,比如用户正在关注什么,他们对游戏中角色和环境的反应等等。设备同时能够衡量用户的认知负载,亦即判断用户在VR体验中付出了多少心智努力。

Interaxon的首席科学家Graeme Moffat在GamesBeat采访时表示:“我们可以完成闭环,把信息带到游戏引擎,然后利用相关信息来调整游戏,使其变得更加引人入胜。根据用户的大脑反应来调高或调低游戏的刺激水平,你可以判断他们正在看什么,他们看到有多少,这个或那个是否令用户产生分神。”

这项技术可能有用于对VR游戏进行预测试的开发者,而其应用可不仅只是如此。脑电图常用于生物反馈治疗,这种治疗形式能够帮助患者更多地了解自己的生理反应并尝试改变它们。

Moffat说道:“对于大脑健康和心理健康方面的部分疾病而已,生物信号反馈和大脑信号反馈真的非常有用。它们可以提供帮助,如脑震荡这样的轻度创伤性脑损伤;又如创伤后压力候群,多动症。或者说可以辅助其他一些大脑健康疾病,或许可以用于抑郁症,但我们目前尚不清楚。又或者说焦虑。将大脑信号加入治疗体系可能会改善结果。我们知道它们可以,问题只是我们应该如何将其整合到VR中而已。”

Moffat指出,EEG系统的平均成本大约是5000美元,而Interaxon希望可以将价格压低至1000美元。该公司在消费者领域拥有丰富的经验,而他们最近与运动眼镜制造商史密斯光学进行了合作,将Muse EEG技术整合到太阳眼镜和眼镜之中。

Muse Virtual Reality确实需要一定的学习,而这有可能成为家庭用户的挑战。例如,但是,这可能会使其在家庭用户面临挑战。例如,他们需要学习如何正确佩戴头显。设备包含的电极必须与用户头部接触才能生效,如果中间存在头发,这会干扰数据的采集。

除了教导用户如何使用硬件之外,Moffat表示Interaxon同时在开发能够帮助人们解读信息的软件,他们也将与开发着合作以确保信息言之有理。

他说:“我想,我的工作是解释大脑信号的作用,以及这如何与精神状态相对应。我们工程师的工作是将信号整合成开发者可用的格式。你不能期待单纯根据原始数据就做出什么,你必须处理它们,并且加入一个分类器。这是真正有趣的地方。我们必须和开发者合作。我们支持开放的态度,我们公开发表一切,我们公开分享我们的SDK,你也可以从我们所有的设备中提取出原始信号。”


这些都不是AR和VR的最终形态。这将会持续多年时间。我们的假设是我们还有很长的路要走,但我们正在为AR和VR设备的未来构建狭窄的自适应视觉阶段。不仅仅只是游戏,还有生产力。在一开始,最大的应用将是游戏。

关于如何建立神经科学界面,业界存在两个理论。一个是埃隆·马斯克,Facebook,Building 8的战略,亦即令数十位神经科学家闭关五年,然后再看看他们能提出什么概念。神经科技领域在过去的创新并非如此,而我也不认为这在未来同样有效。另一个是我们应该进行大量的开放性测试,在一系列的地方开设一系列的实验室,同时涵盖大量的用户,然后你可以逐渐迭代。

新闻中没有任何关于神经科技的内容,实验室里尚未出现成果。诸如霍华德休斯医学研究所这样的机构正在做所有这一切。当我们谈论脑机接口时,我们所指的就是利用这些东西,对其进行扩展,并使之能够用于信息处理的思想控制。我们目前离这个目标还很遥远。

但在此期间,我们正在建立的是在中期内更为有用的东西。那就是人们将会把设备穿戴在头上,亦即AR和VR头显,头戴式显示器。这给了我们一个将大量传感器放在头盖骨上的机会。有人戴上Vive头显或者Gear VR,而我们在他们的面部,后脑勺和两侧设置各种各样的接触点。这使得我们能够测量他们的大脑反应,并将反应时间与VR环境中的刺激相匹配。我们可以允许游戏开发者和游戏玩家利用这种输入来获取一种适应性体验,以这种方式来衡量大脑对这些事物的反应。

我的意思是,我们可以衡量诸如认知负载和注意力等等。游戏中存在一些重复的刺激,而有些刺激则是全新的。有些是可识别的,而有些将是全新的。你可以想象测量大脑对人脸的反应,这实现起来十分直接。然后你可以分辨出他是否见过这张面孔,你可以通过他们的大脑信号来判断他们是否认出了这张面孔。我们可以用脑电波测量这些东西。我们可以完成闭环,把信息带到游戏引擎,然后利用相关信息来调整游戏,使其变得更加引人入胜。根据用户的大脑反应来调高或调低游戏的刺激水平,你可以判断他们正在看什么,他们看到有多少,这个或那个是否令用户产生分神。这可以带来一种更加身临其境的体验。我们将其称之为神经自适应技术。这就是我们正在研发的项目。

我们今年推出的第一个产品将是一个模组。我们不想制作自己的头显,因为这是一件很难实现的事情,而这也不是我们需要解决的问题。我们正在尝试构建模组,构建许多游戏玩家都可以购买的简单低成本方案,并且让游戏开发者和游戏玩家自己使用这些信号。

这是一个针对三星Gear VR的可修改面板,这些都是电极。它们可以测量大脑反应和面部肌肉反应。你不仅可以测量大脑的反应,同时可以测量某人的颧骨是否与传感器产生摩擦,测量其他的面部肌肉活动。 你可以在虚拟现实中驱动一个虚拟化身,为虚拟化身呈现面部表情。我们同时在耳朵后面设置了电极。这些早期版本只是夹在你的耳垂上,未来的版本将会更像Muse本身,位于耳朵后面的橡胶电极能够无缝适配眼镜。然后电子设备就位组件之上。

你们是否会提供可以帮助开发者解读信息的软件呢?

是的,这是关键的组成部分。你不能只制造硬件。你必须令开发者和玩家能够轻松使用产品。你必须教导人们如何获取信号,以及如何解读信号。如何与脑机接口进行交互并不是十分清晰易懂。你必须考虑用户学习这一点,而正念在这方面的教导作用非常好。

我们为其他应用程序开发了正念产品,而且我们意识到,当你尝试学习如何将大脑信号推向脑机接口时,你实际上是在学习如何控制自己的意念。这是正念的一个基本技能。所以这存在两个方面。一个是,我们可以用技术教导你正念;另一个是,根据观察到的用户交互方式,我们可以为供开发者提供相关的信息。我们提取出信号,然后教导用户如何获取高质量的信号,然后这将变成已经由SDK或API解释的SDK输出,而它们这时可以以简单的方式输入至游戏之中。这种技术将在2018年推出。我们将在Q2季度向开发者提供,然后在Q4季度正式推出。

这是面向Gear VR的吗?

是的,这是面向Gear VR,然后是Vive。我们不会限制自己,但这是最容易修改的两款头显,也是最容易使用和广泛使用的头显。对于Vive,我们十分喜欢它,因为对用户体验而言它是当前最有效的VR头显。我们已经尝试过Vive,而我们最喜欢这款头显。它不仅舒适,而且追踪和在VR中的体验也不是那么令人晕头转向,因为这是产品延迟做得非常好。能够测量和控制延迟是一件非常重要的事情,如果你正在寻找时间锁定的大脑反应,这非常重要。HTC在这方面做得很好。

当你戴上像Vive这样的设备时,我们可以在很多地方设置电极。产品可以变得更柔软,我们在CES大会展示的这些产品非常硬,因此它们更耐磨损,但柔软的产品将更加舒适。其中一个挑战是你需要细心整理,令其穿过用户的头发。这需要一定的学习投入。你需要戴上设备,固定,然后读取高质量的脑部信号。这也成为了游戏的一部分。我们必须对此进行游戏化,而这是我们在Muse中所非常擅长的事情。通过服务数十万名Muse用户,我们学到了很多关于如何在家里教导人们使用脑机接口或神经自适应技术的事项。

传统上,你一般是在实验室环境中使用脑电图,比如说大学实验室,而且一群训练有素的技术人员将会为你设置电极。从这个意义上讲,你不能真正把它带出实验室。所以当人们开始尝试这样做的时候,开始销售这些东西,而消费者开始把它们带回家的时候,他们又应该怎么做呢?我应该如何启动这款设备呢?我们经历过这样的事情,并且找出了解决方案。我们提供了一个特定的流程来教导人们应该如何使用设备。对于将电极连接至头部,你实际上是游戏化了这个流程,你令其成为了体验的一部分。你锁定你的VR环境,锁定你的脑部传感器。

总之,我们将电极设置在头部背后的原因是,这里是大脑视觉处理部分的生命所在。听觉器官就位于耳朵上方;大部分的积极思维,认知控制则位于前额区域。背后这一块则是视觉。你可以非常精确地测量用户视场中所发生事情的对应视觉反应。所以你在VR头显中可以看到画面,而我们则在背面测量大脑的反应。因为我们有这个机会在这里放置电极,这帮助我们提高了覆盖率和分辨率。对于如何将其集成至游戏之中,这为我们提供了全新的可能性。

这十分有趣。你们是否有联系开发者进行测试呢?

是的。这种搭载更多通道的修改版Vive将会在2018年晚些时候推出。我们将提供8个通道或16个通道的产品。16个通道接近于医院中常见的完整头部EEG。通道可以多大19个或20个。我们将首先为开发者提供设备。我们将为游戏开发者和VR开发者制作数百款设备,我们会为真正感兴趣并且愿意与我们合作的人士提供设备。这对我们来说是一个长期的目标。我们认为我们能够在VR中发挥重要的作用,而且我们希望以正确的方式实现这一点。

这是不是你们在正念领域的有机延伸呢?还是说你们一直都对游戏领域产兴趣?

我们是多面手。我们公司喜欢VR游戏。我们经常会玩VR游戏,当大家在夜晚离开后我们就会玩。工程师会逗留并且进行调整,同时用Vive来游玩。我们不久前想到我们可以利用生物信号,在VR中使用脑部信号。我们开始着手研究,而得出有意义的成果比我们想象中容易。我们自此之后就继续向前推进。

我们的技术总监,亦即发明了Muse的那一位,他不是通过正念运动或佛教而进入正念领域,他实际上是通过使用技术而发现了正念的原则。他意识到他需要学习控制自己的意念,然后他就在想,其他人是否听说过正念呢?

于是他就创建了一种能够教导人们如何进行正念冥想的技术。这演变成了一个循环,创建第一款产品,Muse产品,然后我们与史密斯光学合作把技术集成至眼镜之中。这并不是说我们专程寻找这个项目,这是自然而然的事情。我们进入了VR游戏,然后我们就说,看看所有这些位置,我们可以在这里放置电极。我们可以在VR中做更多的事情。于是我们开始尝试,并且意识到我们可以做很多事情来令VR变得更好,变得更加引人入胜。这一直都是一个不计酬劳的爱好,直到它成为了人们感兴趣的一个项目。

你认为这项技术存在健康领域的应用吗?研究人员已经在利用VR来帮助治疗创伤后压力候群。你们是否会将这项技术应用于这些方面呢?

绝对会。但这存在一个普及的问题,而且这是一个艰难的课题。首先你需要创建一个可行的体验,然后你需要添加大脑信号感知,而且你需要以一种能够为体验增益的方式来进行设计。有一些我们可以通过大脑信号来治疗创伤后压力候群的事情,然后我们可以将其添加至同样是针对创伤后压力候群所涉及的VR交互式体验。我们可以根据这一目的制作出强大的工具。或者是为注意力缺陷障碍创建强大的工具。

对于大脑健康和心理健康方面的部分疾病而已,生物信号反馈和大脑信号反馈真的非常有用。它们可以提供帮助,如脑震荡这样的轻度创伤性脑损伤;又如创伤后压力候群,多动症。或者说可以辅助其他一些大脑健康疾病,或许可以用于抑郁症,但我们目前尚不清楚。又或者说焦虑。将大脑信号加入治疗体系可能会改善结果。我们知道它们可以,问题只是我们应该如何将其整合到VR中而已。这是一个长期项目。但我们正在与斯坦福大学和哈佛大学中那些研究如何在医药领域使用VR的研究人员讨论,而他们对这项技术非常兴奋。

具体的挑战是,你很难解释这项技术。你需要与某人坐下来交流,并且试图解释这到底是什么。如果你只是拍了一张图片然后告诉大家,这就是大脑感知系统,你能够通过大脑来控制VR,人们实际上是很难理解的。所以我们仍有一段很长的路要走。

市场上有其他公司正在做同样的事情,当然,数量不多。其中一家公司是从软件端入手,叫Neurable,而他们做得相当不错。其他公司则正在制作硬件,制定系统,而且售价大概要1万美元。通常来说,EEG系统的售价为5000美元及以上,这对游戏或任何日常用例来说是不可行的价格。我们正在努力将价格降低至1000美元以下。在这一领域目前只有我们这家公司。

你是否认为这是消费者愿意购买的产品呢,还是说设备主要是面向开发者和发行商?

这一款产品主要是面向开发者和早期采用者。这将能教会我们很多东西。对于2019年,我们将会更多地关注消费者。开发者和早期采用者将会打造出驱动下一代体验的事物,能够达到新高度的下一代体验,而下一代的第一款体验将构建于这款硬件之上。

声明:upinvr.com所发布的内容均来源于互联网,目的在于传递信息,但不代表本站赞同其观点及立场,版权归 属原作者,如有侵权请联系删除。
转载自:映维网                               原文链接:https://yivian.com/news/40501.html

编辑:北极虾