传统去除马赛克的方法,如何通过多帧画面去除马赛克的原理.doc
《传统去除马赛克的方法,如何通过多帧画面去除马赛克的原理.doc》由会员分享,可在线阅读,更多相关《传统去除马赛克的方法,如何通过多帧画面去除马赛克的原理.doc(7页珍藏版)》请在三一文库上搜索。
1、传统去除马赛克的方法,如何通过多帧画面去除马赛克的原理本文来自Google AI博客,介绍了传统去除马赛克的方法,以及如何通过多帧画面去除马赛克的原理。但在手机上应用这一技术,需要面对不少挑战。感谢快手图像算法工程师章佳杰的翻译。一直以来, 对移动设备上的数码相机来说, 数码变焦 (非光学变焦) 就是一个 丑小鸭. 相对数码单反的光学变焦能力而言, 移动设备上的数码变焦拍摄的图片质量是无法与单反相机的光学变焦的图片质量相提并论的。传统观点认为, 单反变焦镜头的复杂光学和机械结构有其优越性, 更紧凑的移动设备上的数码相机即使加上聪明的算法也并不能取代之.有了 Pixel 3 上全新的超分辨变焦
2、(Super Res Zoom) 技术, 我们正在挑战这一传统观点。Pixel 3上的超分辨变焦技术优于以前的数码变焦技术是由于它可以直接将多帧图像合成为一张高分辨率图像,而不是像之前的数码变焦技术仅仅基于单张图片的裁剪并放大的策略。这种多帧图像的合成技术可以得到细节大幅提升的结果, 几乎可以与其他智能手机上 2x 光学变焦的结果相媲美。超分辨变焦意味着, 与先按下快门然后裁剪放大相比, 先捏指缩放画面来变焦, 然后按下快门, 你能得到更多的细节。2x 变焦对比: Pixel 2 vs. Pixel 3 上的超分辨变焦数码变焦的难点数码变焦是一项困难的工作, 因为一个好的算法必须从一个低分辨率
3、的图像出发, 可靠地 重构 出丢失的细节。典型的数码变焦是对单张图像的一小部分进行裁剪并放大而得到一张更大的图像。传统算法是用线性插值的方法来完成的,线性插值尝试生成原图中没有的细节, 但是这带来了模糊, 或者称之为 塑料感, 缺乏细节和纹理。相对而言, 大多数现代的单图放大算法使用了机器学习的手段 (包括我们早先的工作,RAISR)。这些方法能放大特定的图像特征, 比如直线边缘, 甚至可以合成一些纹理, 但是不能恢复出高分辨率的自然细节。虽然我们仍旧在用 RAISR 对图像视觉质量进行增强, 但是分辨率方面的提升 (至少对大多数变焦倍数比如 2-3x), 更多的来自于我们的多帧方法, 超分辨
4、变焦技术。色彩滤镜阵列与去马赛克重建精细细节是非常困难的, 因为数码照片本身是不完整的, 一张数码照片实际上是从一部分的颜色信息重建而来的, 这称为去马赛克的过程。在典型的消费级数码相机中, 相机传感器元件仅能记录光的强度, 而不是直接记录颜色。为了捕捉场景中存在的真实颜色, 相机使用放在传感器前面的色彩滤镜阵列, 以便每个像素仅记录单一颜色 (红色, 绿色或蓝色),这些滤镜以拜耳模式(Bayer Pattern)排列, 如下图所示。拜耳色彩滤镜马赛克阵列示意图:每一个 2x2 的像素组通过一个特定的色彩滤镜记录光线的颜色,两个绿色像素 (因为人的眼睛对绿色的光线更敏感), 一个红色像素, 一
5、个蓝色像素. 这种模式不断重复, 填满整个画面。然后相机内部的处理流程必须重建真实颜色和所有像素的所有细节。(注:值得注意的是, 在某种程度上这个情况与我们的视觉系统相似。在人类和其他哺乳动物的眼睛中, 不同的视锥细胞对不同的颜色敏感, 最后大脑填充了剩下的细节以重建完整的图像。) 算法通常会从附近像素中的颜色进行插值, 对缺失的颜色信息进行最佳猜测, 以此来完成去马赛克的过程, 这意味着 RGB 数码照片的三分之二像素实际上是通过重建得到的!去马赛克的过程, 使用了相邻像素来重建丢失的颜色信息。在最简单的情形中, 去马赛克可以通过对相邻像素值进行平均来实现。虽说大多数真正的去马赛克算法比这更
6、为复杂, 但受限于本质上的信息不完整, 这些算法仍然会导致不完美的结果和伪像。这种情况即使是大画幅的数码单反相机也存在, 但是它们的传感器和镜头更大, 在典型情况下, 单反能比移动设备相机记录更多的细节。如果你在移动设备上捏指缩放进行变焦 (数码变焦), 算法不得不从附近像素再一次插值来构成更多信息, 情况会变得更差。但 (在成像过程中) 并非所有信息都丢失了, 即使受到移动设备光学系统限制, 也可以使用连拍摄影和多帧图像融合来实现超分辨率。从连拍摄影到多帧超分虽然单幅图片不能提供足够的信息来填充缺失的颜色, 但我们可以从连续拍摄的多帧图像中获取一些缺少的信息。拍摄并融合多帧连续照片的过程称为
7、连拍摄影,在 Nexus 和 Pixel 手机上成功应用的谷歌 HDR+ 算法就使用了多帧的信息, 使手机拍摄的照片能达到更大传感器的画质水平。我们是否可以采用类似的方法来提高图像分辨率?其实这个方法已经有十多年的历史, 在包括天文学领域。其基本概念被称为 drizzle, 对从略微不同的位置拍摄的多个图像进行融合, 在 2x 低放大率下或 3x 而照明条件良好的情况下, 可以产生相当于光学变焦的分辨率。这就是多帧超分辨率算法, 通常的思路是将低分辨率连拍摄影的图像直接进行对齐, 然后合并到所需 (更高) 分辨率的像素网格上。以下是理想化的多帧超分辨率算法如何工作的示例:标准去马赛克过程 (最
8、上一排) 需要对确实的颜色进行差值。与此相比, 理想情况下, 每一帧图像水平或垂直移动一个像素, (多帧超分辨率算法) 可以从这些图像获得信息来填充缺失的颜色。在上面的例子中, 我们拍摄了 4 帧, 其中三帧正好移动了一个像素, 分别是水平方向, 垂直方向, 水平和垂直两个方向。这样的话, (利用这些移动了的图像上的像素值) 所有缺失的颜色都会得到补充, 根本不需要任何去马赛克的过程! 实际上, 一些数码单反相机就支持这种操作, 但只有当相机在三脚架上时, 传感器/光学器件才会主动移动到不同位置,这有时被称为 microstepping。多年来, 这种用于更高分辨率成像的 超分辨率 方法的实际
9、应用仍主要限于实验室用途, 或用于某些受控环境下, 传感器和拍摄主体之间可以对齐, 人们可以控制或严格限制它们之间的移动。例如, 在天文摄影中, 望远镜是固定的, 望远镜拍摄的天空区域是移动的, 而天空的移动是可预测的。但在像现代智能手机这样广泛使用的成像设备上, 在需要放大的场合 (如移动相机数码变焦) 实际使用超分辨率算法, 仍然大部分情况下都无法实现。部分原因是, 为了使算法正常工作, 需要满足某些条件。首先, 也是最重要的一点是, 镜头分辨率要比使用的传感器本身更高 (相比之下, 你可以想象这样一种情况, 即镜头的设计非常糟糕, 以至于采用更好的传感器不会带来任何好处)。这种特性通常带
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 传统 去除 马赛克 方法 如何 通过 画面 原理
链接地址:https://www.31doc.com/p-3377167.html