如何使用RGB格式图像传感器去构建一个通用马赛克算法.doc
《如何使用RGB格式图像传感器去构建一个通用马赛克算法.doc》由会员分享,可在线阅读,更多相关《如何使用RGB格式图像传感器去构建一个通用马赛克算法.doc(6页珍藏版)》请在三一文库上搜索。
1、如何使用RGB格式图像传感器去构建一个通用马赛克算法Bayer 格式的图像传感器在每个像素位置上只采样红绿蓝三原色中的一种。在某些应用中,Bayer 颜色滤光片阵列(colour filter array)的一个 G(绿色)滤光片会被其他滤光片代替,如 W(白色) 滤光片或 IR(红外) 滤光片等。而绝大多数发表的去马赛克算法都是基于经典的Bayer 格式。文中提出了一种通用的去马赛克算法,不仅可以适用于所有以 2x2 为最小采样周期的图像传感器而且该方法在颜色峰值信噪比(CPSNR)方面也达到了很高的指标。1 引言Bayer 格式的图像传感器在每个像素位置上只采样红绿蓝三原色中的一种1-5。
2、为了提升去马赛克后输出图像的分辨率, Bayer 格式图像传感器在其 22 的最小采样周期的对角线位置上采样绿色。某些应用要求成像设备能够同时提供被摄场景的 RGB 图像和红外图像6,从降低成本的角度考虑,这就需要图像传感器在采样红绿蓝三原色的同时也采集红外光。在现有 Bayer 格式传感器基础上最简单的一种改进方法是将现有 22 最小采样周期对角线上的一个绿色滤镜换成红外滤镜。业内称这种图像传感器为RGBIR 格式。S.Ssstrunk 和 C.Fredembach 也在文7中提出了 RGBIR 传感器的许多其他应用,包括去雾和皮肤平滑。而另外一些应用要求图像传感器在采集彩色图像的同时可以提
3、供更好的低光性能,会将现有 Bayer 格式的一个绿色滤镜直接拿掉,这样该通道就可以采集各种波长的光线。业内称这种图像传感器为 RGBW 格式8。后续为了说明的方便,统一称这种改进型图像传感器为 RGBX 传感器。为了满足上述应用,文献9,10中讨论了彩色滤镜的其他排列组合方法。然而,考虑到传感器的制造成本,本文只关注以 22 为最小采样周期的非 bayer CFA 模式。如图 1 所示,这是一种改进型的图像传感器。图 2 是这种改进型图像传感器对应的一个典型的量化响应曲线,横坐标是入射光波长,纵坐标是不同波长对应的量化效率由于 X 通道和绿色通道对入射光的量化响应曲线形状存在极大差异,导致了
4、对角线位置上绿色和红外的采样值一般也差异较大。而传统针对 Bayer 格式的去马赛克方法的处理流程一般是首先利用 Bayer采样对角线上的两个绿色通道的相关性,内插出全分辨率的绿色通道,然后再基于局部色差一致性的假设,内插出全分辨率的红色和蓝色通道。不难看出,将一个绿色通道替换成了 X 通道之后,四个通道的采样率一致,所以这种先内插高采样率的绿色通道的去马赛克方法显然不再适用于改进型的图像传感器。虽然,将双线性(bilinearity)、双三次(bicubic)等普通的内插方法分别作用于 RGBX 传感器的四个通道可以完成 RGBX 的去马赛克操作,输出四个全分辨率的图像。但是这类将每个通道独
5、立内插的做法完全没有利用通道间的信息,去马赛克后输出图像的效果会存在分辨率低、亮色混叠严重等问题。就我们学术查新的结果来看,目前学术界还没有公布高性能的完全兼容 Bayer 格式的 RGBX 去马赛克算法。2 本文提出的算法由于我们假设 RGBX 图像传感器中所有通道都具有相同的采样频率(Bayer 格式可以认为是一种RGBX 图像传感器的特殊格式),因此本文提出的算法不需要遵循先内插 G 通道传统去马赛克算法流程框架。具体算法流程如下所述。我们将原始的 RAW 图像看成是四个全幅面的RGBX 图像经过采样函数相加后的输出结果。表示为式(1)。(1)其中 f 代表全幅面图像,如 fCFA 代表
6、全幅面的 RAW 图像, fR 代表全幅面的 R 图像,以此类推。n1 = 1,2,.H,n2 = 1,2,.W 分别代表图像垂直和水平方向像素位置,H 为全幅面图像高度,W 为全幅面图像宽度。定义亮度分量L,色度分量C1,C2,C3 和 RGBX 的转换关系用矩阵表示如式(2)。(2)因此全幅面的 RAW 图像(CFA)也可以看成是四个全幅面的亮度和色度分量经过采样函数相加后的输出结果如式(3)。(3)其中 ,-1 = ej 则色度分量 C1 可以看成是调制到中心频率为(0.5,0)上的高频信号,色度分量C2 可以看成是调制到中心频率为(0,0.5)上的高频信号,色度分量 C3 可以看成是调
7、制到中心频率为(0.5,0.5)上的高频信号,而亮度分量可以看成一个基频信号。图 3 是将频率零点位移到中心点之后的亮度和色度分量在频域上的能量分布示意图。横坐标代表水平方向上的频率,纵坐标代表垂直方向上的频率。由图 3 可见,亮度信号 L 主要分布在二维坐标系的低频区域。色度信号 C1 到 C3 分布在二维坐标系的高频区域,其中 C3 分布在上图的四角,代表色度在对角线方向上的高频信号。C1 分布在上图的水平两侧,代表色度在水平方向上的高频信号。C2 分布在上图的垂直两侧,代表色度在垂直方向上的高频信号。去马赛克的思想可以是通过低通滤波器恢复出亮度信号,高通滤波器恢复出色度信号,然后通过矩阵
8、变换转换到 RGBX 上。在开始去马赛克运算之前,需要先对第四通道进行预校正运算。第四通道指的是四个通道中 RGB 通道外的通道,如果是 RGBIR 图像传感器,第四通道则为红外通道,如果是 RGBW 图像传感器,W 代表无色的滤镜,即这个通路响应从可见光到红外光的全部波长光线,第四通道则为 W 通道。这里仍以 RGBIR 图像传感器为例,具体地说,在进行上述亮度和色度的卷积运算之前,最好对红外通道进行预校正运算,这是由于红外通道的量化相应曲线和 RGB 通道的量化相应曲线存在较大差异,在某些场景可能导致即使在相邻区域红外和可见光通道的信号也存在较大差距。而滤波器设计时受到阶数的限制,会有波纹
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 如何 使用 RGB 格式 图像传感器 构建 一个 通用 马赛克 算法
链接地址:https://www.31doc.com/p-3421502.html