图像传感器将光波转换成数字信号进而形成图像,是智能手机的关键技术之一,而搭载图像传感器的摄像头是智能手机不可或缺的组件,同时也将在无人驾驶汽车和机器人等未来技术中发挥重要作用。图像传感器属于半导体行业的核心范畴,它与其它相关行业关系密切,可以产生更大的附加价值。
目前,智能手机对图像传感器的需求量占总量的70%,占比最大。然而,据推测,无人驾驶汽车等未来行业对图像传感器的需求将大幅增加。
随着图像传感器重要性日益增加,全球科技公司对其产生了浓厚的兴趣。业内人士预测,当前图像传感器市场领导者的市场主导地位在未来可能会大幅下降。因此,目前的领军企业(如索尼)正在积极投资于下一代图像传感器的研发。
3D图像传感器:主导新一代图像传感器市场的全新规格
近年来,3D图像传感器作为一种有望引领图像传感器市场的全新规格,受到了人们的广泛关注。传统的图像传感器只能实现2D图像,而3D图像传感器可以通过测量与拍摄对象之间的距离(深度)来更精准识别对象和动作,将其以3D图像的形式呈现。
表一、2019~2025年3D图像传感器市场规模变化
根据法国市调机构Yole Development1去年发布的一份报告,3D图像传感器的市场规模年平均增长率(CAGR)有望达到20%,从2019年的50亿美元增长到2025年的150亿美元。其中, 移动端市场的增长率有望达到26.2%,到2025年移动端应用将占3D图像传感器市场份额的一半以上。而汽车市场在此期间的年增长率也有望达到27%,创历史新高的同时预期在2025年将跃居整体市占第二的地位。
早在2010年,3D图像传感器便被应用于智能手机领域,以实现智能手机摄像头的自动对焦(AutoFocus2和接近感测(Proximity Sensing3等功能。此外,在苹果大力推广Face ID功能(2017年首次在iPhone X上推出的3D面部识别功能)后,3D图像传感器作为一种有望引领智能手机创新的全新器件,吸引了大量关注。
现在,包括苹果在内的越来越多的知名智能手机制造商(如三星、华为、OPPO和Vivo)纷纷参与到技术竞赛中来,以期推出搭载最好的3D图像传感器的新款智能手机。
3D图像传感器的工作原理
3D图像传感器捕捉图像的方式主要依靠三项技术:立体视觉(Stereo Vision)4、结构光(Structured Light)5和飞行时间(Time of Flight, ToF)。而ToF可进一步分为两种分类:测量相位差的间接ToF(Indirect ToF,I-ToF)和测量时差的直接ToF(Direct ToF,D-ToF)。
图一、间接飞行时间法与直接飞行时间法概念对比图示
I-ToF方法通过使用以特定频率调制的激光,测量与反射信号之间的相位差来测量物体距离。虽然使用现有的光电二极管元件相对容易实现,但由于光电探测元件的效率低下,很难测量几米以外物体的距离。
D-ToF方法通过发出短脉冲光然后测量发射光返回所需的时间,来探测与物体之间的距离。这一方法可用于测量数十米或数百米以外的物体距离,但需要采用具备超高效率特性的单光子雪崩二极管(Single-Photon Avalanche Diode,SPAD)元件。
直接飞行时间法(D-ToF):下一代3D图像传感器的关键技术
苹果公司早期推出的iPhone X机型的前置摄像头将结构光应用于3D图像传感器,此后,采用I-ToF技术的微型图像传感器问世,并在智能手机中得到了更广泛的应用。值得注意的是,图像传感器市场龙头索尼公司于2015年收购Softkinetic Systems S.A.公司以强化其图像传感器相关产品后,凭借I-ToF图像传感器获得了较高的市场份额。
然而,业界预测今后D-ToF图像传感器的重要性将更显突出。业界普遍认为3D图像传感器在智能手机中的应用将大幅增加,然而相比之前不同的是,它们将大多安装在手机后置摄像头,因为相比于前置,安装于背面的镜头将更能够灵活利用3D图像传感器的性能特征。安装在背面的3D图像传感器必须能够测量超过5~10米的距离,因此,业界正着力研究基于SPAD元件的D-ToF技术。
事实上,根据市调机构Markets and Markets公司对2020年ToF图像传感器市场的研究6,预计到2025年,I-ToF传感器的平均年增长率将达到11%,而D-ToF传感器的平均年增长率将达到37.3%,是I-ToF传感器的三倍多。
去年,苹果公司在iPad Pro和iPhone 12 Pro背面配置了D-ToF传感器,成为首家在智能手机背面配置D-ToF传感器的智能手机供应商。苹果公司采用了索尼的SPAD元件及相关工程技术,并将其命名为LiDAR(光探测和测距)扫描仪,以便与传统I-ToF传感器进行区分。
苹果公司的LiDAR扫描仪可以测量长达5米的距离,其性能优于传统I-ToF传感器。苹果公司充分利用这一技术优势,在发布iPhone 12时大力宣传了各种基于增强现实(augmented reality,AR)的应用程序和功能。
Yole Development在去年曾预测,随着苹果公司基于LiDAR扫描仪的智能手机的推出,2021年3D图像传感器市场将呈现大幅增长态势。该机构还预测道,从2024年起7,LiDAR传感器在无人驾驶汽车领域的应用将引领3D图像传感器市场的增长。
实际上,应用于无人驾驶汽车的LiDAR传感器能够提供精确的3D图像,分辨率8极高,是实现无人驾驶的关键要素,因而备受关注。然而,目前LiDAR传感器主要采用基于电机的机械扫描(Mechanical Scanning)方式,体积大且价格昂贵,不适合批量生产。而基于D-ToF的LiDAR传感器不但可以测量中长距离,同时成本效益更高,体积更为小巧,因此市场的需求也在不断的增加。
此外,D-ToF传感器有望在机器人和无人机等下一代移动产业的开发中发挥不可或缺的作用。亚马逊的仓库物流机器人和无人机送货服务便是一个很好的例子。D-ToF传感器在工厂自动化领域也是必不可少的器件。
SPAD:D-ToF传感器的重要元件
单光子雪崩二极管(SPAD)凭借增益(gain)极高的特性,甚至可以探测单光子(Single Photon)9,是效率极高的下一代半导体光电探测元件。
当在SPAD上施加比击穿电压(breakdown voltage)10更高的电压时,会发生碰撞电离现象(Impact Ionization),巨大的电场(electric field)使载流子(carrier)加速运动并与原子碰撞,从而使原子中释放的自由载流子数量急速增多。这种现象被称为雪崩倍增(Avalanche Multiplication),会导致图像传感器点亮的光子产生大量自由载流子。这意味着哪怕周围昏暗的环境或远处照射过来的光线致使射入图像传感器的光子强度很弱,通过雪崩倍增现象传感器仍旧能够将光子增幅并将其识别为大量的光子。
同时,当光子进入时,SPAD阵列会发射数字脉冲(Digital Pulse),因此更容易跟踪光飞时间。不仅如此,SPAD还能捕捉精确的时差,因此具有精确的深度分辨率(depth resolution)11,精确程度甚至可以达到毫米级别。
瑞士洛桑联邦理工学院(Swiss Federal Institute of Technology Lausanne,EPFL)和英国爱丁堡大学(University of Edinburgh)对于基于SPAD的D-ToF传感器的研发及验证取得了一系列的成果 。此后,意法半导体(STMicroelectronics)利用该技术推出了近距离传感器(Proximity Sensor),该传感器已被广泛应用于各种智能手机产品。
正如采用背照式(Backside Illumination,BSI)方法进行研发以提高传统图像传感器性能一样,在基于SPAD的D-ToF传感器领域各主要公司、机构也以3D堆栈BSI SPAD阵列研究作为主要方法进行技术研发12。如前所述,苹果和索尼最近展开合作,成功开发了性能更好的基于3D堆栈BSI SPAD的D-ToF传感器,并将其安装在苹果智能手机的后置摄像头上。
在韩国,韩国科学技术院(KIST)的研究人员目前正牵头研究D-ToF传感器的重要组件SPAD,以期获得原创性技术。KIST的研究人员还积极推动着下一代3D堆栈BSI D-ToF传感器的开发。
索尼通过收购拥有原始技术的Softkinetic Systems S.A.公司,在I-ToF传感器领域占据了主导地位。同样地,像SK海力士这样拥有最先进技术和基础设施的知名半导体公司如果能够与当地研究人员(机构)展开积极合作,相信在将来有望引领全球D-ToF和LiDAR传感器市场的稳步成长。
1‘CMOS Camera Module Industry for Consumer & Automotive 2020’ by Yole Developpement (2020)
2自动对焦(Autofocus):一种可自动聚焦物体的摄像头技术
3接近感测(Proximity Sensing):一种能够探测光波并识别物体或人的存在的功能。智能手机使用这一功能可以检测到用户脸部触碰屏幕并自动关闭屏幕,从而避免误触发,接近感测功能还被应用于无人驾驶和机器人技术中,用于测量汽车或机器人与物体之间的距离,并通知探测对象的位置或接触探测对象与否。
4立体视觉(Stereo Vision):该方法使用两个图像传感器测量物体距离,并形成类似于人用双眼看到的3D图像。该方法存在一个根本性的缺点,即难以小型化。
5结构光(Structured Light):该方法通过软件向物体投射特定的光,并分析经立体物反射后返回到图像传感器的光图案的失真情况,以呈现3D图像。在外界强光影响下很难准确操作这一方法,并且运行软件的负荷也很高。
6‘Time-of-Flight (ToF) Sensor Market – Global Forecast to 2025’ by Markets and Markets(2020)
7‘CMOS Camera Module Industry for Consumer & Automotive 2020’ by Yole Developpement (2020)
8分辨率(resolution):区分两个物体的能力
9单光子(Single Photon):与经典电磁波形成对比的,作为量子化电磁波的单个光粒子
10击穿电压(Breakdown Voltage):当在PN接合部施加的反向电压水平超过一定极限值时,会引发雪崩(Avalanche)现象,产生巨大的电流,此时的电压即为击穿电压。
11深度分辨率(Depth Resolution):一种区分两个距离非常近的物体的能力
12参考文献:
https://doi.org/10.1109/IEDM.2016.7838372
https://doi.org/10.1109/IEDM.2017.8268405
https://doi.org/10.1109/ISSCC.2018.8310201
https://doi.org/10.1109/ISSCC.2019.8662355
https://doi.org/10.1109/JSSC.2019.2938412
https://doi.org/10.1109/IEDM13553.2020.9371944
https://doi.org/10.1109/ISSCC42613.2021.9365961
https://doi.org/10.1109/ISSCC42613.2021.9366010
張畯然 撰写
韩国科学技术研究院(KIST)新一代半导体研究所所长