视频的形成和计算机视觉概要改.ppt
《视频的形成和计算机视觉概要改.ppt》由会员分享,可在线阅读,更多相关《视频的形成和计算机视觉概要改.ppt(77页珍藏版)》请在三一文库上搜索。
1、Introduction to Computer Vision and video processing,种衍文 武汉大学测绘遥感信息工程国家重点实验室 研究方向有视频处理与通信、计算机视觉和模式识别,Video processing, computer vision (CV),refs: 视频处理与通信, 电子工业出版社, yao wang 等著 图像工程, 清华大学出版社, 章毓晋 编著 计算机视觉 模式识别,武汉大学出版社,钟珞等编著 matlab程序设计语言 OpenCV,上课安排: 1. 2-15周,每周三 2:30-4:30 考评方式及组成: 课堂 30% 作业 30% 考试 4
2、0%,相关学科与相关课程的联系,June 22, 2019,数字图象处理,计算机视觉,模式识别,机器视觉,计算机图形学,线性代数,集合论,高级语言程序设计,数据结构,先后顺序,重叠量反应相关程度,基础知识,计算机视觉专题(图象与视觉计算),高等代数,最优化方法,。,信号与系统,计算几何,Overview (1),计算机视觉的几何学基础 摄像机模型 1、单摄像机(pinhole model/perspective transformation) 2、双摄像机 (epipolar geometry: fundamental matrix/essential matrix) 3、三摄像机及更多(mu
3、lti-view geometry) 运动估计 1、对应点问题(correspondence problem) 2、光流计算方法 3、刚体运动参数估计(minimal projective reconstruction) 2-view, 7 points in correspondence; (Faugeras) 3-view, 6 points in correspondence; (Quan Long) 3-view, 8 points with one missing in one of the three view. (Quan Long) 几何重构(Geometry reconstr
4、uction) 1、立体视觉(stereo vision) 2、Shape from X (shading/motion/texture/contour/focus/de-focus/.),June 22, 2019,Overview (2),计算机视觉的物理学基础 1、摄像机及其成像过程 视点、光源、空间中光线、表面处的光线. 明暗 shading、阴影 shadow 2、光学/色彩 light/color 辐射学,辐照率radiometry, 3、物体表面特性 漫反射表面(各向同性)Lambertian surface BDRF (bi-directional reflectance di
5、stribution fucntion),June 22, 2019,Overview (3),计算机视觉的图像模型基础 1、摄像机模型及其校准 内参数、外参数 2、图像特征 边缘、角点、轮廓、纹理、形状 3、图像序列特征 (运动) 对应点、光流,June 22, 2019,Overview (4),计算机视觉的信号处理层次 1、低层视觉处理 单图像:滤波/边缘检测/纹理 多图像:几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion 2、中层视觉处理 聚类分割/拟合线条、曲线、轮廓 clustering for segmenta
6、tion, fitting line 基于概率方法的聚类分割/拟合 跟踪 tracking 3、高层视觉处理 匹配 模式分类/关联模型识别 pattern classification/aspect graph recognition 4、应用 距离数据(range data)/图像数据检索/基于图像的绘制,June 22, 2019,Overview (5),计算机视觉的数学基础 摄影几何、微分几何 概率统计与随机过程 数值计算与优化方法 机器学习 计算机视觉的基本的分析工具和数学模型 Signal processing approach: FFT, filtering, wavelets,
7、 Subspace approach: PCA, LDA, ICA, Bayesian inference approach: EM, Condensation/SIS/, MCMC, . Machine learning approach: SVM/Kernel machine, Boosting/Adaboost, NN/Regression, HMM, BN/DBN, Gibbs, MRF, ,June 22, 2019,Applications: - Manufacturing and inspection; QA - Robot navigation - Autonomous veh
8、icles - Guiding tools for blind - Security and monitoring - Object/face recognition; OCR. - Medical Applications - Visualization; NVS - Visual communication - Digital libraries and video search - Video manipulation and editing,How is an image formed? (geometry and photometry) How is an image represe
9、nted? What kind of operations can we apply to images? What do images tell us about the world? (analysis & interpretation),What and where 举例: Image Segmentation,Image Segmentation,视频信号,定义: 从动态的三维景物投影到视频摄像机图象平面上的一个二维图象序列。一个视频帧中的任何一点的彩色值记录了在所观察的景物中一个特定的三维点所发出或反射的光。 三维: (x, y, t),视觉的光学基础,光: 由人眼可以感觉的、波长在
10、380780nm范围内的电磁波组成的。 度量辐射强度分布 :光源通常能发射某一波长范围内的能量,并且其强度随时间和空间变化。 光谱成分决定彩色感觉具有非常窄的带宽的光称为谱色,白光被称为非彩色的。 光源:照明光源和反射光源 照明光源的彩色感觉取决于它所发射能量的波长范围。照明光源遵循相加规则几个混合的照明光源的彩色感觉取决于所有光源光谱的总和。 例如,红、绿和蓝光以合适的比例组合起来就能形成白色光。 反射光源的彩色感觉取决于入射光的光谱成分和被吸收的波长范围。反射光源遵循相减规则几种混合的反射光源的彩色感觉取决于剩余的、未被吸收的波长。补色:红青、绿品、蓝黄。 青色、品色和黄色燃料混合形成黑色
11、,它吸收整个可视光谱。,16,光与彩色 光是一种以电磁波形式存在的物质;可见光能引起人眼视觉反应的光。波长为380780nm(毫微米);不同波长的光入射到人眼会引起不同的颜色感觉;如果将所有波长的光均等地混合在一起,则给人以白色的感觉。,表2-1 光的波长与颜色的关系,17,电磁辐射波谱,18,电磁辐射波谱,19,彩色三要素,亮度:是指光的作用强弱,它由光的辐射功率及人眼视敏度特性决定。 色调:是指光的颜色,由作用到人眼的入射光波长成分决定。 色饱和度:是指彩色的浓淡,与掺白光的多少有关。,20,视觉特性,(1)亮度特性 对于同一波长的光,当光的辐射功率不同时,则给人的亮度感觉也不同。但如果辐
12、射功率相同而波长不同,则给人的亮度感觉也是不同的。,21,(2) 彩色分辨力特性,人眼对彩色细节的分辨力比对黑白亮度的分辨力要低。 根据这一特性,彩色电视广播用0-6.0MHz宽带来传送亮度信号,用0-1.3MHz窄带来传送色度信号。 另外,对于不同色调的彩色,人眼的细节分辨力又是不一样的。例如,人眼对于橙色与青色的彩色分辨力较强,对于紫色与黄绿色的彩色分辨力较弱。,22,(3)彩色视觉的非单值性,每种特定波长的光波都能引起一种特定的色调感觉,但是波长与色调之间并不存在着一一对应关系。 人眼彩色视觉的非单值性特定波长的光波能使人眼产生特定的色调,但却不能反过来根据人眼的色调感觉去判断光的波长。
13、,23,三基色原理,三基色原理的主要内容是:自然界几乎所有的彩色,都可以用三种基色光按一定的比例混合产生;反之,自然界中的所有彩色,都可以分解为三种基色光。 在彩色电视系统中,选用红、绿、蓝作为三基色。三基色与混合色的关系是: a、三种基色的混合比例,决定混合色的色调与色饱和度。 b、混合色的亮度等于参与混合的各个基色的亮度之和。,24,(1)相加混色法,红+绿=黄 红+蓝=紫 绿+蓝=青 红+绿+蓝=白 青色+红色=白色 黄色+蓝色=白色 紫色+绿色=白色,投影电视采用此法,25,背投电视机,26,(2) 空间混色法,当三基色光点很小且距离很近时,由于人眼视觉分辨率有限,将呈现混合色的色调。
14、彩色显像管采用此法,27,(3)时间混色法 利用人类眼睛视觉暂留的特点,在时域实现混色。,三基色光按顺序轮流快速出现,28,29,编 码 器,图象,分光系统,光电转换系统(摄像机等),图像三基色分解,通过彩色摄像机中的分色光学系统来完成图象三基色分解,30,彩色图像的复原,在接收端,利用彩色显像管使三基色光像混合成原彩色图像,彩色混合的三基色原理,原理: 大多数彩色C可由适当选择的三种基色(C1、C2、C3)混合产生。(Maxwell) RGB基色照明光源最流行的基色系(红、绿、蓝) CMY基色反射光源最通常的基色系(青、品、黄) 彩色坐标转换:我们能够把基于一种基色系的彩色值转换为基于另一种
15、基色系的彩色值。,人类的彩色感觉,人类彩色感觉的属性:亮度Y和色度C 彩色 亮度指被感知的光的明亮度,与可视频带中的总能量成正比的。 色度指被感知的光的颜色(色调)和深浅(饱和度),由光的波长成分决定的。 三感光细胞原理(Young): 这三种类型的感光细胞的组合可使人类感知任何彩色,这意味着被感知的彩色只依赖于 这三个数,而不是整个的光谱。 HVS反彩色模型:HVS把锥状细胞获得的三个彩色值转换成一个与亮度成正比的值和另外两个响应于色度感觉的值。同样大小的能量在不同的波长会产生不同的亮度感觉,GRB.,Have a break,Eye,Neural circuitry of the reti
16、na,Receptors Density - Fovea,Retina Mosaic,Center-surround Receptive Fields,Modified from PSY280F,Visual pathway,Physiological Recording,fMRI Magnet,彩色视频成像原理,视频记录了从一个观测系统(人眼或摄像机)所观测的场景中的物体发射或反射的光的强度 , 当由摄像机观测场景时,只有摄像机敏感的那些波长是可见的。 视频信号: 如果摄像机只有亮度传感器, 那么表示投影光亮度的标量函数灰度级。 如果摄像机有三个分离的传感器,每一个接收一种所选的基色,那么信
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视频 形成 计算机 视觉 概要
链接地址:https://www.31doc.com/p-3003105.html