洞见featured

SK海力士在CIS HDR技术方面的发展与未来展望

By 2023年09月26日 10月 6th, 2023 No Comments

在过去几十年间,手机技术发展已实现了质的飞跃。从20世纪90年代末,随着移动通信技术发展而诞生的功能性手机,到如今常见的智能手机,手机已不仅仅是用来通话和收发讯息的工具。由于具备高性能摄像功能,当下人们普遍认为智能手机是重型数码单反相机(DSLR camera)的替代品。本文将介绍SK海力士为提升智能手机用户的拍摄体验而开发的各项技术,且将重点介绍高动态范围(HDR)1技术。

1高动态范围 (HDR):在摄影中,动态范围是用来描述图像中最亮区域和最暗区域的光亮强度范围。与标准动态范围(SDR)相比,HDR的对比度更高,亮度范围更广,以尽可能使图像接近人眼所见的场景。

自21世纪初至今HDR传感器发展的时间线

图1:自21世纪初至今HDR传感器发展的时间线

 

为提升摄影动态范围性能而做出的努力

是否使用HDR进行拍摄的效果图对比

图2:是否使用HDR进行拍摄的效果图对比

 

近年来,智能手机镜头传感器的功能和配置不断提升,已经接近数码单反相机水平。然而,由于物理尺寸的限制,相较于数码单反相机采用3-4微米(μm)像素尺寸及14位或更高级的模数转换器(ADC),智能手机相机仅能采用1微米像素尺寸及10位模数转换器。因此,智能手机在低光条件下的图像质量和动态范围性能方面仍然落后于数码单反相机,这使得开发相关技术并提升智能手机拍摄效果成为当前CIS2行业的一大趋势。

动态范围可被视为满阱容量(FWC)3和暂态噪声(TN)4的比值。因此,可以通过改变像素结构及改进电路设计来提高FWC或降低TN,以提高动态范围性能。然而,由于研发高级像素和电路的技术难度较大,此方法难以广泛应用于不同价位的智能手机上。

2CMOS图像传感器(CIS):一种先将光的颜色和强度转换成电信号,再将电信号传送到处理单元的传感器。本质上充当了智能手机及平板电脑等数字设备的“眼睛”。

3满阱容量(FWC):单个像素在饱和之前的最大电荷存储量。如果超过最大电荷存储量,信号质量便会受到影响。当像素中的电荷量超过饱和水平时,电荷可能会溢出到相邻像素中,这种现象被称为“高光溢出”。

4暂态噪声(TN):在将入射光子转换为电子的过程中,由于单个像素生成数值时出现的波动,导致图像的亮度和颜色产生的意外变化。

动态范围(DR)方程,可通过提高满阱容量或降低暂态噪声来优化动态范围。

图3:动态范围(DR)方程,可通过提高满阱容量或降低暂态噪声来优化动态范围。

 

因此,SK海力士始终致力于保留现有像素结构及10位模数转换器,并通过改进图像信号处理器(ISP)5硬件逻辑来优化动态范围,以实现HDR效果。由于此项技术发展,更多用户在不同价位智能手机上均能体验到HDR功能。

5图像信号处理器(ISPISP是一种媒介处理器,主要应用于数码相机和手机的图像处理功能。它将原始图像转换为数字图像,并进一步对该数字图像进行处理,如降噪、自动曝光、自动对焦、自动白平衡、HDR校正和图像锐化等。

SK海力士HDR技术的发展历程:从QHDR到DAG & iDCG HDR

自2017年研发出QHDR后,SK海力士的HDR技术便不断取得重大突破。

不同类型HDR技术的分析

图4:不同类型HDR技术的分析

 

QHDR(于2017年研发)

QHDR,也被称为四像素HDR,是采用多重曝光时间为基准的HDR技术。该技术使用曝光时间与四色滤波阵列相匹配的单帧图像以扩展动态范围,曝光时间根据四色滤波阵列(CFA)6的模式进行调整。随着四色滤波阵列技术的不断发展,HDR功能已被集成到传感器中,以提升高分辨率传感器的竞争力,进而推动QHDR技术发展。该传感器还支持各种功能模块(IP)7,例如融合(fusion)和色调映射(tone mapping)等。

6彩色滤波阵列(CFA):一种微小色彩滤波器矩阵,被放置在图像传感器的像素传感器上,以捕捉色彩信息(R/G/B)。近年来,由于Bayer和Quad等应用技术不断发展并与CFA基本形式相结合,一系列高质量、高功能的CIS产品不断涌现。

7功能模块(IP):在本文中,IP指可重复使用的功能模块,通常被用作硬件核心、硬件库,或软件库。

传感器中QHDR模块的概念图

图5:传感器中QHDR模块的概念图

 

sHDR2018研发

QHDR仅通过传感器便可实现HDR技术,因此传感器本身需要强大的硬件资源支撑。而sHDR技术,则通过传感器和应用处理器(AP)的协作来优化图像质量,并扩展动态范围,且传感器及应用处理器均与摄像头接口直接连接。

借助sHDR技术,传感器会输出不同曝光时间的多帧图像,并将其传输至应用处理器。之后应用处理器启动图像信号处理器,对图像进行HDR处理,包括使用融合和色调映射等功能。在这种情况下,传感器需要高速传输多个不同曝光时间的图像。

传感器和应用处理器合作商在sHDR技术中的作用

图6:传感器和应用处理器合作商在sHDR技术中的作用

 

iDCG-HDR2021-2022研发

由于现有sHDR和QHDR技术是基于多重曝光时间研发的,因此在调整曝光持续时间时,运动伪影8的出现无法避免。为解决此类限制,SK海力士研发出了iDCG-HDR技术。

8运动伪影:亦被称为“重影伪像”,由镜头抖动,或多个曝光图像融合时物体的运动而引起。

双转换增益(DCG)是一项创新技术,即使接收到同等量级的光,仍可通过切换浮动节点(FN)上的DCG电容来改变信号输出量。iDCG–HDR技术可以在同一次曝光拍摄环境下,通过合并亮度不同的高转换增益(HCG)和低转换增益(LCG)图像来扩展动态范围,以此实现HDR效果。

此传感器支持图像信号处理功能,可将两帧图像合并。在DCG比例为1:4时,动态范围可显著提高约12分贝。

iDCG-HDR模块概念图

图7:iDCG-HDR模块概念图

 

DAG-HDR2023研发

虽然iDCG-HDR相较于QHDR和sHDR能更好地减少运动伪影,但也同时受到了固定转换增益(CG)9的限制,这限制了iDCG-HDR在不同拍摄条件下灵活改善动态范围的能力。另外,由于需要增加晶体管来控制转换增益,也导致了iDCG-HDR的制造成本较高。

相比之下,DAG-HDR可以在指定时间内使用两种不同的模拟增益(AG)10捕获两帧图像,以实现HDR效果。虽然DAG-HDR的最大动态范围不及iDCG-HDR,但它可根据需要灵活调整动态范围,因此在低端智能手机上也可实现HDR效果。

9转换增益(CG):输出信号值与输入信号值的比率,为图像传感器的基本特征之一,可确保输入和输出图像之间的定量对应关系。

10模拟增益(AG):在将模拟信号转换为数字信号(A/D转换)之前,模拟增益会放大模拟信号。与单独采用数字增益相比,模拟增益具有更高灵敏度和更少噪音。

 

DAG & iDCG HDR(于2023年研发)

这是一种基于单次曝光时间的HDR技术,结合了DAG和iDCG技术,在最大程度上减少运动伪影的同时,也灵活提高了用户在不同拍摄条件下的动态范围。换句话说,该技术将DAG-HDR流畅的动态范围可调特性和iDCG-HDR显著的动态范围增强效果功能进行了整合。当CG比为1:4,AG增益为16倍的情况下,采用DAG & iDCG HDR的整合技术可使动态范围最多提高至36分贝。
DAG & iDCG HDR模块概念图

图8:DAG & iDCG HDR模块概念图

 

展望未来,SK海力士将专注发展基于单次曝光时间的DAG & iDCG HDR技术,该技术可最大程度减少运动伪影,同时在各种拍摄条件下灵活提升动态范围。此举再次履行了SK海力士致力于释放HDR技术的最大潜力,确保所有智能手机用户均可切实体验拍摄最大动态范围图像的承诺。

车受蓝 撰与 SK海力士新生代商业团队Technical Leader

// // wechat qr 현재 URL 로 변경 // https://github.com/mkdynamic/jquery-popupwindow /*! * Display popup window. * * Requires: jQuery v1.3.2 */ // weibo show