技术

【半导体塑造的世界】眼镜中的虚拟现实

By 2019年12月20日 No Comments

早晨一睁开双眼,我做的第一件事就是戴上VR(Virtual Reality)眼镜,查看今天的天气预报。现在,VR眼镜已具备了虚拟现实(VR)功能,足不出户也可体验室外天气。秋日艳阳高照,凉风习习,让我神清气爽。沐浴之后,穿好衣装。以前,我习惯从衣橱里拿出衣服,再对着镜子比比看看。但现在,我可以带上VR眼镜,在虚拟更衣室里查看自己的换装效果。一番比较后,我按照人工智能(Artificial Intelligence, 简称 AI)秘书的建议,选择了简约风格的着装。在乘地铁上班的路上,我坐在角落里,欣赏着我最喜欢的歌手在上周举办的现场演唱会。有了这双VR眼镜,我可以随时随地进入虚拟现实,漫漫上班路也就不再单调乏味。

VR眼镜能带领我们进入虚拟世界……具备VR功能的“智能眼镜”何时实现商业化?

虚拟世界进入日常生活,是我们常常会幻想的场景。但实际上,虚拟世界这一未来技术尚未实现。当前,将VR头戴式显示器(Head Mount Display,简称 HMD)连接到PC、智能手机或娱乐平台上,玩玩虚拟游戏或体验VR视频内容还是比较简单的;然而,想要随时随地启动VR的“智能眼镜”还只存在于科幻电影画面中。

尽管如此,实现科幻小说(Science Fiction,简称 SF)中的智能眼镜技术也并非是遥不可及的。第四次工业革命方兴未艾,IT技术飞速发展,VR相关技术也在逐一形成。随着全球IT公司纷纷涌入VR行业,电影中的智能眼镜有望在不久的将来实现。

下载图片

相关市场规模也有望迅速增长。英国市场研究机构数字资本(Digital Capital)专精于VR和增强现实(Augmented Reality, 简称 AR)。该机构预测,全球VR市场规模将由2016年的39亿美元快速增长至2022年的1050亿美元。另一家市场研究机构IDC也预计,相关硬件(HMD)出货量将由2017年的960万个单位增长至2021年的5920万个单位。

就现在而言,Facebook是开发智能眼镜里最活跃的公司。自2014年收购了一家以开发HMD为主的创业公司Oculus以来,Facebook不断扩展VR产品系列,跃居VR HMD为主的硬件平台开发的市场佼佼者。目前,Facebook启动了下一代的AR智能眼镜开发工作。该眼镜代号为“Orion”,目标在2025年实现商业化。Facebook首席执行官马克·扎克伯格(Mark Zuckerberg)在2017年研发人员年度会议上提出了对于智能眼镜的未来展望,认为智能眼镜会在5-7年内代替智能手机。

HTC与索尼(Sony)在这一市场同样占据着举足轻重的地位。最近,HTC在高端VR HMD市场方面动作频频,引人注目,而索尼则基于自己的游戏平台PlayStation推出了其VR HMD产品。特别要说的是,在不考虑性价比的情况下,2018年HTC推出的Vive Pro是堪称迄今为止最佳的VR HMD。它具备有史以来最高的规格,解析度高达2880×1600像素,视野角度(Field of View,简称 FOV)扩至110度,刷新率增为90赫兹(Hertz,简称 Hz)。韩国三星电子也正与Oculus合作,推出了基于智能手机的VR HMD “Gear VR”,加入市场竞争。

在VR HMD不断前行的同时,基于AR和混合现实(MR)的目镜类显示屏(Eye Glassed-type Display,简称 EGD)技术也在不断创新发展。Magic Leap和微软等知名度极高的大公司也参与其中。

Magic Leap成功开发了“光子光场(Photonic Lightfield)”技术,能够控制接触视网膜的光向;在2018年,又推出了名为“Magic Leap One”的MR EGD产品,使虚拟物体看起来更加逼真。微软也在今年的国际消费电子展(CES)上推出了下一代AR EGD产品“HoloLens 2”,引得市场翘首以盼。

尽管如此,“Magic Leap One”顾名思义,这一初创版面向的主要目标受众仍然是开发人员。微软当前在AR EGD市场中也着重针对企业,而非消费者。这说明,AR眼镜商业化仍需假以时日。

“HMD”技术的当下进展——智能眼镜的原型

总的来看,为了实现虚拟现实效果,设计人员将凸透镜放在用户眼睛的前方,这样焦点可被调节,从而形成三维效果,并通过外部显示屏营造图像的距离感。换言之,这种方法利用的是一种视觉错觉,使得大脑认为虚拟图像是真实的。在当前可用技术的支持下,用户视野将被全面覆盖。通过屏蔽用户视野中现实传达的视觉信息,形成一种沉浸体验。此外,显示设备要预留一定的空间,并且在显示屏和透镜之间留出足够的空间,方便调节焦点距离。这就是迄今为止所有已商业化的VR HMD均采用了护目镜的设计元素的原因。

但在日常生活中,护目镜外形的VR HMD过于沉重,长时间佩戴往往引起不适感。为进一步向眼镜外形靠拢,第一步应减轻外围设备的重量,包括传感器和电池。除此之外,其它相应技术的开发也须跟进,如光学技术和显示技术等。

下载图片

然而,当前光学技术和显示技术有着很明显的局限之处。为让用户浸入到虚拟现实中,并且不屏蔽外部视觉信息,HMD的视野角度应为220度,即人眼的最大视野。然而,在当前市场中,即便是HMD大厂的高端产品也只能覆盖110度的视野,低于人眼的平均视野(120度)。

当前图像解析度水平有限,其形成的图像尚不足以以假乱真,让用户以为这是现实。要最大程度地提高浸入感,至少要达到4K(3840×2160像素)的高解析度。特别需要考虑的是,如果VR HMD显示图像的视野比之前还要宽时,屏蔽门效果(Screen Door Effect)就会出现,即像素之间出现细小的黑色条纹,会让人有隔纱网看东西的感觉。也就是说,在360度的VR中,用户感受的解析度要远低于原有视频的解析度。为解决这个问题,视频至少要达到8K(7680 x 4320像素)的高解析度。

下载图片

要最大程度地缓解因长期使用VR HMD产生的3D眩晕,确保稳定显示频率(刷新率)必不可少。行业规定的最优VR技术刷新率为120Hz,而当前基于有机发光二极管(Organic Light Emitting Diodes,简称 OLED)的产品则约有90Hz的刷新率。

“发展半导体技术”是智能眼镜商业化的前提条件

发展半导体技术是智能眼镜实现商业化的一个重要因素。即便有优秀的图像分辨率和现实技术,如果没有半导体性能的支持和落实,智能眼镜的商业化仍会是遥遥无期。因此,半导体行业正在做出各种努力,确保相关技术引领VR产业发展。

高通(Qualcomm)在应用处理器(Application Processor, 简称 AP)产业的地位不可撼动。目前,市场上的两款高端独立VR HMD产品均采用了高通“骁龙 835(Snapdragon 835)”,即Facebook的“Oculus Quest”和HTC的“Vive Focus”。与此同时,英特尔也将目光聚集在专业VR系统。该系统以PC赋能的VR HMD为基础,采用了英特尔旗下的高性能 “酷睿X系列(Core X Series)”CPU。

AMD则将目标定在了GPU领域的全球VR系统市场。AMD推出了“LiquidVR”,该解决方案专为VR和AMD Radeon VR Ready高级版/创造版(即AMD的GPU认证程序)设计。为了确保技术领先,AMD还于2017年收购了无线VR芯片生产商及初创公司Nitero。

下载图片

存储半导体技术发展也是实现智能眼镜的前提。存储半导体全程参与了设备提供真实VR环境的过程。无论是生产还是保存VR图片,亦或是确保设备内储存空间、在显示屏上放出图像,设备都需要使用存储半导体。特别要提到的是,发展高性能图像DRAM,对设备实时接收并稳定显示大量8K图像数据至关重要。

一般来说,一张2K全高清(Full HD)图像约为9.5MB大小,而8K超高清图像(UHD)的大小则为2K图像的16倍。另外,由于VR图像要放大显示且距眼镜很近,因此它消耗的数据大约是普通超高清图片的4倍。换言之,面对VR图像,设备要实时处理大量数据,处理量至少是普通完整高清图像的64倍。

要满足上述条件,VR用图像DRAM的性能要提高到什么水平呢?据SK海力士自己的估算,如果图像DRAM面对的视频分辨率超过8K、秒帧数超过90帧/秒,那么它必须达到20Gbps的数据传输速率,才能稳定无延迟处理8K图像。为此,我们需要高速图像DRAM,例如最新发布的GDDR6。HMD设备内部的内存半导体也要采用高能效、低能耗的设计,这样镜框内部的微型芯片才能迅速处理数据。

SK海力士DRAM产品规划部门图像(Graphic)与智能驾驶(Auto)团队的技术负责人(Technical Leader,简称 TL)郑书瑛表示:“由于VR技术复杂化趋势仍将继续,且有可能应用于更广泛的用途,因此数据处理量将以指数级上升。为应对未来市场的这一趋势,SK海力士将继续投资高宽带、低能耗的存储半导体。”

// // wechat qr 현재 URL 로 변경 // https://github.com/mkdynamic/jquery-popupwindow /*! * Display popup window. * * Requires: jQuery v1.3.2 */ // weibo show