每天关注科技新闻已经成为一种习惯,VR现在已经是非常热门的话题了,为什么没有在大众范围内引起关注,是因为还没有成熟的产品走向平常百姓家,得不到真实的体验。VR这个领域的范围比较大oculus rift,oculus目前应该是在这个领域内做的最好的。
1、VR并不是头戴式显示器
一般我们谈到VR的时候,总会看到一个人带着一个像眼罩的设备,这个设备一般会被称为虚拟现实头盔,对于不太了解VR的人,可能会觉得这就是一个头戴式的显示器,或者就是一个缩小版的IMAX屏幕,但我想说这其实是一个天大的误解。
头戴式显示器并不是一个多么新生的事物,索尼在很早以前就出过一些产品,它的原理就是把屏幕放在眼睛前面,然后通过光学镜片调整焦点,让你离屏幕很近也能看清楚画面,它能达到的最好效果就是通过两块显示屏显示不同画面,呈现出很好的3D效果,所以头戴式显示器就是一个缩小版的IMAX屏幕,你戴上它的感受就是面前有一个3D的屏幕,这和VR是完全不同的。
2、VR头戴设备和以前的头戴显示器有什么不同
oculus rift的基础也是一个显示器,从下面的拆解图片可以看出来,早期的开发者版本就是用了两个凸透镜放在眼睛前面,然后在后面放了一块手机屏幕。简单说,这货就是用了两个放大镜把手机屏幕放大了,让你感觉视角很宽阔,同时放大镜调整了焦点,画面离得近也能不模糊。
因为早期的开发者版本用的一块完整的三星手机AMOLED屏幕,因此需要把画面从中间分开,两个放大镜分别放大左右两边的画面。
现在的CV1版本已经采用两块独立屏幕,据说这样可以拥有更大的视角。而且CV1的透镜形状也变了,据说是为了对应屏幕画面新的扭曲方式,总之是优化过了。
用凸透镜放大屏幕会产生一个问题,就是画面会扭曲,为了抵消这种扭曲,解决方式是先把屏幕画面扭曲,经过放大镜放大之后就抵消了扭曲,负负得正,这样从眼睛看上去就正常了。
这个解决方案目前看也不完美,会导致周围的画面模糊,毕竟是把一个平面的画面放大成有曲率的,不过将来可以通过提高分辨率或者使用曲面屏幕解决。还有一个问题是因为不同波长的光的折射率不同,因此画面边缘的图像会产生偏移干扰,但是据说可以通过软件算法补偿。
从纯粹作为显示设备的角度看,oculus rift的特别之处主要在于透镜的设计,就是先把广角的图像压缩成平面,然后通过透镜把画面恢复成广角。这样能做到最好的效果就是完全沉浸的三维立体感,如果oculus rift止步于此,那它就只是一个高级的3D显示器,它的应用范围和目前的屏幕也基本一样。
3、oculus rift作为VR设备的关键在于什么
单纯的显示设备除了被动观看什么都做不了,并不能称为VR,因此,显示设备只是VR的重要构成,但并不是关键。那么关键是什么呢,关键就是运动感知。也就是把你的身体运动状态通过VR设备输入软件系统,然后软件系统会随着你的运动进行实时反馈,然后才能和虚拟的世界互动,只有这样才能产生真正的临场感和真实感,才能谈的上交互,也只有这样你才能真正感觉到你就身处在虚拟世界中,或者说, 你才能真正进入虚拟世界。
这是一个质变,就像oculus曾经表示:“这款头盔能提升宽视场,延伸到用户的周边视觉以外。这是非常重要的,因为当佩戴Oculus时,感觉并不像是看着屏幕,恰恰相反,仿佛是Oculus带你进入一个虚拟的宇宙。”
为什么会这样?这要回到我们人类这种生物怎样感知真实物理世界,如果你仔细分析, 你会发现实际上oculus rift完全模拟了我们和真实世界互动的过程。
当我们在现实世界中转动头部的时候,你眼前的画面会随视角发生改变,你头部向前时看见的前面的画面,向左时看见的是左边的画面,向右时会看到右边的画面,因此当我们转动头部的时候,大脑会通过看到的连续画面脑补出一个完整的三维空间的形象。
那么oculus是如何模拟这个过程的呢,答案就是运动感知。看前面的图片你会发现oculus头盔上面有很多的小点,这些小点就是定位用的。它能起到的作用就是随时可以感知到你的头部在三维空间中的位置和角度的偏移,然后把这些数据传回计算机,然后软件会把这些数据作用于画面,然后做出相应的调整。简单说就是,如果你向左转头了,计算机就会计算出你往左转了多少度,转的速度曲线是多少,然后把这个结果传给游戏程序或者视频播放器,然后游戏程序或者播放器就会把画面做出相应角度和速度的位移。当然,这个过程是毫秒级别的,一旦延迟超过了一定的时间,我们就会丧失真实感,而且会感觉头晕。(oculus rift头盔本身也集成了加速度传感器等用于辅助定位)
上图这个像话筒一样东西就是检测运动的设备,它能实时看到头盔上的白色小点的运动轨迹,通过软件算法就能计算出偏移的角度和远近的数据。简单说就是,它能让计算机知道你在朝向那个方向,并且也知道你和它之间的距离。小点其实是红外LED,可以组成一个矩阵。(PS:CV1上的小点已经遮住了,表面附了一层面料,应该不影响检测)
4、运动感知的更进一步,动作感知,手势感知
如果有了VR头盔,并且也有了头盔的运动检测,我们有了接受被动内容时的真实感,比如可以在音乐会的现场放置全景相机,我们就能从远程体验到现场的感觉,或者将来在看3D电影的时候有更真实的临场感,就好像身处电影之中,或者可以通过像谷歌街景那样的应用方式旅游或者参观任何场所,或者可以更好的观看AV,就像前面解释的,这是因为我们可以通过自由视角来获得一种身处真实空间的幻觉。
但是上面这些仍然不够,我们还需要和虚拟空间进行互动的方式,这就需要对我们所有的运动的数据都有感知的能力。比如我们进入一个虚拟的三维空间之后,我们怎样进行移动,怎样和虚拟空间里面的物体或者虚拟对象进行接触,或者更现实的问题是,我们怎样操作其中的界面。传统键盘和鼠标都不太适用了,无线手柄也不是理想的设备。
关于这个问题目前出现了很多的解决方案,比如oculus最新出了叫做一个oculus touch的设备,见下图。这个设备上面也布满了检测点,它也可以通过运动感知定位,它像一个手环一样,只要用手握着时,你手部的移动就会被检测到,然后被传给计算机,结果就是计算机里面你的虚拟手臂也会做出同样的动作。它上面还有一些按钮,这些也可以增强互动的方式。
当然,这也许并是最终理想的设备,而是在目前现实技术条件下能够做出的最好设备,而且可能也是为了和游戏平台兼容。目前的技术已经可以实现对手势的精准感知,这方面的公司也不止有一家,oculus已经收购了Nimble VR的手势感知技术,估计应该会用在后续的产品上,还有像微软的Handpose也是很优秀的手势感知技术。详情可以点连接看视频演示
除了上半身的感知,还有下半身的感知,如果要玩GTA5或者BF4这样的video game,你需要在游戏的场景里面奔跑,对于这种需求,也出现了一些VR跑步机这样的输入设备。大概的原理就是,当你的脚和跑步机地面发生相对移动的时候,移动的数据就会被记录下来传入游戏中,然后游戏的整个场景画面都做出相应的移动。这个过程和我们在现实世界中走路也是一致的。但是因为你不能离开跑步机内部的范围,需要用一个装置把身体相对的固定住。这种设备将来可能会成为一种通用设备,现在已经看到有好几种,具体体验可能会有差异,将来应该也有提高的空间。
另外还一个问题就是触觉的感知反馈,目前好像还没有看到比较好的解决方案,之前看到过一种方案是通过类似外骨骼的形式,简单说就是在你的四肢和手指关节外面附上一层机械装置,如果你用力的时候它们会提供阻力,从而达到模拟触觉和力度反馈的作用。
5、声音也很重要
声音其实也是一个很重要的方面,对真实感也有很大的影响,比如说,想象这样一个场景,你在游戏中遇到了一个怪兽,它发出很恐怖的声音,然后你转头就跑,这时候你听见声音仍然从前面传来,然后你转头再跑,声音还是在你前面,这是不是很诡异。
如果不对声音做出任何处理,效果可能就和前面一样,你完全无法通过声音来判断情况。因此声音也要和运动的数据关联,比如当你往右转头的时候,你前面的声音就应该转移到左边。
不过,3D音效对于游戏并不是什么新技术,在传统video game里面,当你移动视角的时候,声音也会发生改变,只不过VR对于这种定位的精度要求更高一些。
对于视频来说,声音的采集也是一个问题,因为你需要完全复原现场的声音效果才能有现场感,所以像双立体声录音这样的技术也起到了关键作用。
之前看新闻说oculus已经在原型中通过 Rift 的头部追踪功能集成了双立体声技术,然后看tested的采访也说音效非常好,应该在rift cv1中已经集成了。
目前的很多问题只能等待技术进步解决,多多关注:泰斗社区