当前位置: 厦门雄霸 > 新闻中心 > 从盲人复明到人眼模拟,EVS传感器打开千亿AR/VR市场
从盲人复明到人眼模拟,EVS传感器打开千亿AR/VR市场
时间:2023-07-18 11:14:47 点击次数:

起初,这个十分新颖的技术帮助了视网膜受损的全盲患者恢复视力。

这项技术是“基于事件视觉传感器(Event-based Vision Sensor; EVS)”,因为可模拟人眼视网膜运作,也被称为是有别于传统传感器的“硅”视网膜。该技术成功帮助了视网膜受损的视障者恢复视力,也是Prophesee于2014年在巴黎成立的灵感来源。

Prophesee副总裁兼大中华区总经理杨雪飞对《问芯Voice》表示,最早是Prophesee欧盟做一个帮助盲人复明的项目,技术来源于仿生学,在人的眼睛里面有机理,视网膜上面有视锥细胞和视杆细胞,视锥细胞负责捕捉色彩,视杆细胞负责捕捉光亮度的变化。如果把RGB传感器比作视锥细胞,Prophesee的传感器就是视杆细胞的机理。

盲人是有很多种不同的起因的,有一种是因为视杆细胞受损造成的视觉上面的障碍,当时欧盟有一个大项目是把EVS传感器作为数据的采集部分,相当于视杆细胞的采集,然后后面会有传输部分、算法部分和人机连接的部分。

“基于事件视觉传感器EVS” 技术的本质在开发模拟人眼的人工模型,可模拟人眼视网膜运作原理,Prophesee将EVS技术在医疗领域实现可行性后,现在积极拓展到工业和消费性电子领域。

2023年初,Prophesee宣布与手机处理器龙头高通达成深度合作,在骁龙平台上集成EVS技术传感器,是该技术的一个重要里程碑。

从盲人复明到人眼模拟,EVS传感器打开千亿AR/VR市场

杨雪飞指出,EVS技术用在手机并不是想取代现有的拍照方式,而是藉由该技术来提升现在的拍照效果。从前年开始,EVS技术就在手机市场找到了一个非常明确的应用目标,也就是去模糊(deblur)的应用场景。

Blur指的是拍照时会出现的模糊的状态,尤其是手机拍照时,大多数的应用场景都不是风和日丽的户外场景,很多情况下是在光线不太充足的室内场景。光线暗的场景通常会增加曝光时间,但是增加曝光时间后,任何的运动都会在曝光时间当中产生模糊,这是手机拍照很常见的问题。

因此,手机厂商就想到了运用EVS技术去做相应的去模糊(deblur)的算法,从而得到非常清晰的照片,给了EVS技术切入手机市场很好的机会。

Prophesee在偌大的手机市场迈开一大步,目前与不止一家厂商签订了相应的合作规划,预计今年会有采用Prophesee的EVS技术的新款手机发布。

物联网市场发挥潜力巨大

除了手机市场,物联网也是EVS技术非常重要的市场,例如Prophesee提出一款监控老人跌倒并提供警报的解决方案,就是因应不少在疫情防控期间出现过的老人因为身体原因跌倒的案例。

杨雪飞指出,随着社会老龄化严重,现在很多年轻人和老人不住在一起的,也不在一个城市,能够实时了解到老人有没有发生特殊情况是很重要的。同时,考虑到安装监控有隐私问题,尤其在浴室这样好发老人跌到的场所中,也不太可能安装一个摄像头来监控,EVS技术是非常适合的解决方案。

首先,EVS技术没有隐私问题,因为它不会拍摄图像,它只有物体的边缘(轮廓)信息。

第二,EVS技术可以用AI技术在本地直接在本地的设备上做相应的AI算法运算,来判断这个老人现在是不是跌倒了或者出现了异常的状况,不需要通过云服务。然后再通过手机或平板电脑向子女亲人重复推送,告诉他们有可能出现了紧急状况。

这一整套系统都可以在端这边直接运行,不需要依赖于云,可降低用户的成本,因为云服务是每个月都要付费的。再者,对外输出没有任何图像,只是一个预警信号,可以极大的保护了隐私。

以中长期的应用角度,AR/VR市场会是接下来一个非常爆炸性的赛道,同时也很适合EVS技术发挥。

杨雪飞表示,AR/VR赛道当中有很多应用是可以利用EVS技术来提升效果的。一个比较热门的是眼球追踪,因为在 AR/VR设备当中,需要知道人眼关注的方向,从而去调整改变它的显示。然如果AR/VR的显示器一直显示高清4k或者至少是 HD高清的显示,功耗会非常的大。

从盲人复明到人眼模拟,EVS传感器打开千亿AR/VR市场

对AR/VR设备而言,要如何延长它的续航时间是关键核心之一。所以从显示的层面,它最好只在你眼睛关注的那一小部分区域做清晰显示,其他的区域可以略作模糊,如此一来可以降低它的功耗。要实现上述效果,就要做很好的眼球追踪,让这些AR/VR设备知道你眼球关注的方向。

人的眼睛的转动速度是非常快的,对摄像头的速度有很高的要求,如果用传统的 RGB传感器,拍视频是每秒24帧到30帧。 Meta有相关的论文说要防止晕眩感,让消费者有更好的使用体验,摄像头大概要达到每秒200多帧的速度。从每秒20几帧到200多帧,10倍的速度,摄像头的功耗就变得非常大。

这个时候,由于EVS技术能够高效捕捉动态影像,以及它输出的数据不是全帧输出,只选择那个事件输出,就能够大幅减少数据量。

另一个情况是,很多用过VR玩游戏或看视频的人都会有头晕的情况。 Meta曾经分析并指出了四个造成晕眩的原因,其中有两个原因都是可以藉由EVS技术而获得很好地解决,一是帧率不够,也就是速度不够,现在只有二十几帧,Meta认为要200帧左右才能够比较好解决这个问题。

第二个是延时,延时不单是采集数据的速度,还有后端运算的速度,就是整体的延时。延时越长就代表着我眼睛移过来了,图像还没有变化,要过一段时间再移过来,这也是一个造成晕眩的重要原因。

针对这种情况,EVS的优势在于,第一它没有帧率,因此采集数据的速度极快;第二是数据量小,这样不仅降低功耗,数据传输的速度也更快了,而且节省算力,运算速度也更快了,可以大幅提升用户体验。

融合视觉传感芯片前景超千亿

2021年10月份,锐思智芯发布了首款基于Hybrid Vision融合视觉技术的芯片,主要是用于验证融合方案的。随后在2022年7月,发布了首款高端融合视觉感算一体传感芯片ALPIX-Eiger,主要是适用于智能手机、运动相机等消费电子产品。

今年锐思智芯将发布超低功耗融合视觉视觉传感器ALPIX—Titis,预计明年会正式面向市场发布,适用于IPC、智能家居以及AR/VR等应用。

具体到AR/VR相关应用方面,况山表示未来AR/VR对于的视觉传感器要求一定是往更高帧率方向发展,而锐思智芯的融合视觉视觉传感器可支持非常高帧率的识别(最高可以达到10000FPS)。

从盲人复明到人眼模拟,EVS传感器打开千亿AR/VR市场

具体的功能应用方面,比如可以进行快速眼动跟踪,可以进行被动的识别判断,可针对视线焦点区域来进行高质量图像生成,其他区域可以弱化,这样可以降低计算量、减少延迟、降低功耗;还可以与结构光结合起来,优化结构光的方案,可以追踪精度将比现有行业当中所有的方案提升一个量级,达到0.3度的精度。

另一个应用方向就是SLAM,可以基于SLAM做运动检测、人脸检测。而基于EVS的SLAM可实现高鲁棒性、低功耗、更少数据量、更少计算量,甚至整个系统的成本也有所下降。因为,后端的SoC将不需要成本更高的高算力芯片,可能用一个比较便宜的芯片就可以实现。

另外,凭借融合视觉视觉传感器在高动态范围方面的优势,可以实现针对过暗与过曝的场景下,进行基于事件流重构图像,得到更为清晰的图像。

况山表示,融合视觉视觉传感器未来市场前景很大。根据Yolo和汉能报告预计,未来融合视觉视觉传感器出货量将达59亿颗(智能手机42亿颗、智能家居5亿颗、安防监控2亿颗、自动驾驶10亿颗),2030年市场规模将达到1400亿元。

AR产业发展迎来战略期

我国AR产业当前正处在由初生到加速的关键发展阶段。AR逐渐成为新一代信息技术的重要前沿方向,且是数字经济的前瞻领域,将改变人类生产生活的方式。经过多年发展,产业初步构建了以技术创新为基础的生态体系,正迈入以产品升级和融合应用为主线的战略窗口期。

国家高度重视AR产业发展,“十四五”规划将“虚拟现实和增强现实”列入数字经济重点产业,提出以数字化转型整体驱动生产方式、生活方式和治理方式变革,催生新产业新业态新模式,壮大经济发展新引擎。

近年来,国家出台了《关于推动5G加快发展》《关于进一步释放消费潜力促进消费持续恢复的意见》《虚拟现实与行业应用融合发展行动计划(2022—2026年)》等政策文件,鼓励培育新型消费模式,推动发展云化虚拟现实线上服务平台、基于用户地理位置服务的增强现实运营平台;支持基于用户地理位置服务和高精度视觉定位服务的增强现实应用对线下街区赋能,推动虚实融合沉浸化、数字空间运营化的“全息街区”样板建设,打造涵盖互动社交、室内导航、餐饮购物等的个性化生活信息服务。

各地方积极出台关于推动AR发展的细化政策,一方面鼓励增强现实与文化娱乐、旅游、医疗健康、工业生产、教育培训、商贸业务等传统领域融合发展,释放传统行业创新活力;另一方面,综合利用5G、人工智能、超高清视频和云计算等新一代信息技术,推进新一代信息技术与AR/VR产业协同发展,催生出5G﹢AR、AI﹢AR、超高清视频﹢AR等特色产业,全面推动社会智能化发展。

可以说在进入2023年后,政策驱动让AR产业的发展战略窗口期出现,未来前景令人期待。

Copyright © 2022-2023 贵州源妙自动化设备有限公司 版权所有     黔ICP备2022007086号-9