《基于V4L2的视频驱动开发.doc》由会员分享,可在线阅读,更多相关《基于V4L2的视频驱动开发.doc(7页珍藏版)》请在三一文库上搜索。
1、基于V4L2的视频驱动开发编写基于V4L2视频驱动主要涉及到以下几个知识点:1 摄像头方面的知识要了解选用的摄像头的特性,包括访问控制方法、各种参数的配置方法、信号输出类型等。2 Camera解码器、控制器如果摄像头是模拟量输出的,要熟悉解码器的配置。最后数字视频信号进入camera控制器后,还要熟悉camera控制器的操作。3 V4L2的API和数据结构编写驱动前要熟悉应用程序访问V4L2的方法及设计到的数据结构。4 V4L2的驱动架构最后编写出符合V4L2规范的视频驱动。本文介绍基于S3C2440硬件平台的V4L2视频驱动开发。摄像头采用OmniVision公司的OV9650和OV9655
2、。主要包含以下几个方面的内容:1 视频驱动的整体驱动框架2 S3C2440 camera控制器+ov9650(ov9655)3 V4L2 API及数据结构4 V4L2驱动框架5 ov9650(ov9655)+s3c2440+V4L2实例一、视频驱动的整体框架视频驱动的整体框架见下图:二、S3C2440 camera控制器+ov9650(ov9655)(1)S3C2440 camera控制器介绍S3C2440支持ITU-R BT601/656格式的数字图像输入,支持的2个通道的DMA,Preview通道和Codec通道,参见下图。Preview通道可以将YCbCr4:2:2格式的图像转换为RGB
3、(16bit或24bit)格式的数据,并存放于为Preview DMA分配的内存中,最大分辨率为640*480。主要用于本地液晶屏显示。如果将Preview DMA的内存和Framebuffer内存重叠的话,就可以实现采集直接输出到液晶屏上了。Codec通道可以输出YCbCr4:2:0或YCbCr4:2:2格式到为Codec DMA分配的内存中。最大分辨率为4096*4096。主要用于图像的编解码处理。上图中的window cut功能是指在图像可以先做一个裁剪。通过设置CIWDOFST完成此功能,见下图。图像进入P、C通道后,各自的scaler单元还可以对其进行缩放、旋转等处理。S3C2440
4、 camera控制器支持乒乓存储。为了防止采集和输出之间的冲突,采用了乒乓存储方式。每次采集一帧后,自动转到下一个存储区。如果你因为内存空间不足,不想使用此功能的话,可以将四个区域设置到同一块空间。在做图像处理时,需要关注到最后存储区中的图像格式,如codec通道硬件自动把Y、Cb、Cr分离存储。S3C2440 camera 控制器Last IRQ功能的使用,也是需要掌握的。如果处理不好,输出的图像效果会受影响。控制器会在每个VSYNC下降沿判断ImgCptEn信号等命令。如果在下降沿发现ImgCptEn信号有效,则产生IRQ中断。然后才开始一帧图像的真正采集。而如果在VSYNC下降沿判断到I
5、mgCptEn为低电平且之前LastIRQEn没有使能,则不会产生任何中断,且不会再进行下一帧的采集。如果你想在ImgCptEn关闭后,一帧采集完后产生一个中断通知你,那么就需要在最后一次中断产生前(stop capturing后的vysnc下将沿)使能lasTIrq就可以了。我在移植linux驱动时就遇到了一个Last IRQ的问题。现象是输出图像上面总是有一条比其它部分反应慢。采集运动图像,就能看出现象。查看代码是因为没有设立lasTIrq,因为每次如果不在lasTIrq产生的情况下读取,图像缓冲中的数据是不稳定的,可能照成图像不完整。修改代码支持lasTIrq后,问题解决。Camera控
6、制器时钟设置也是需要注意的,ov9650需要Camera控制器为其提供时钟。提供给外部摄像头的时钟是由UPLL输出时钟分频得到的。而CAMIF的时钟是由HCLK提供的。本例中,提供给ov9650的时钟为24M。(2)ov9650(ov9655)设置方法OV9650是OmniVision公司的COMS摄像头,130万像素,支持SXVGA、VGA、QVGA、CIF等图像输出格式。 最大速率在SXVGA时为15fps,在VGA时为30fps。OV9650摄像头时序如下图:上图中D9:2用于8-bitYUV或者RGB565/RGB555(D9MSB、D2LSB)。D9:0用于10-bit RGB。本例
7、中使用8-bit YUV模式。我手边开发板的Camera和S3C2440的接线原理图如下(对应camera中具体的信号名称参见前文的驱动整体架构图)。注:GPG12用于PWEN信号(3)编写ARM测试代码测试camera功能在Keil环境下编写一个测试代码完成从摄像头采集图像输出到液晶屏。下面列出程序的流程。(4)编写测试代码过程中常见的问题1 摄像头寄存器的配置因为摄像头有很多寄存器,可能一下无法理解里面所有的配置含义,所以开始时希望得到一份可用的配置。但往往从别人的测试代码中拿到配置后,仍然无法使用。我这里列出几个可能的原因:(1)摄像头中的图像输出格式和你在camera控制器中设置的不一
8、致,同一个摄像头可以设置多种输入格式,如:YCbYCr或CbYCrY。(2)图像输出的一些时序和你的camera控制器设置不一致,摄像头可以设置一些时序,如:图像数据在CAMPCLK的上升沿有效还是下降沿有效。(3)注意输出图像的格式和Framebuffer控制器的匹配,如字节顺序等问题。2 Ov9650和ov9655的使用区别这里主要列出两者之间在复位信号上有差别,ov9650是高电平复位,而ov9655是低电平复位。三、V4L2 API及数据结构V4L2是V4L的升级版本,为linux下视频设备程序提供了一套接口规范。包括一套数据结构和底层V4L2驱动接口。1、常用的结构体在内核目录inc
9、lude/linux/videodev2.h中定义struct v4l2_requestbuffers /申请帧缓冲,对应命令VIDIOC_REQBUFS struct v4l2_capability /视频设备的功能,对应命令VIDIOC_QUERYCAP struct v4l2_input /视频输入信息,对应命令VIDIOC_ENUMINPUT struct v4l2_standard /视频的制式,比如PAL,NTSC,对应命令VIDIOC_ENUMSTD struct v4l2_format /帧的格式,对应命令VIDIOC_G_FMT、VIDIOC_S_FMT等 struct v4
10、l2_buffer /驱动中的一帧图像缓存,对应命令VIDIOC_QUERYBUF struct v4l2_crop /视频信号矩形边框 v4l2_std_id /视频制式2、常用的IOCTL接口命令也在include/linux/videodev2.h中定义VIDIOC_REQBUFS /分配内存 VIDIOC_QUERYBUF /把VIDIOC_REQBUFS中分配的数据缓存转换成物理地址 VIDIOC_QUERYCAP /查询驱动功能 VIDIOC_ENUM_FMT /获取当前驱动支持的视频格式 VIDIOC_S_FMT /设置当前驱动的频捕获格式 VIDIOC_G_FMT /读取当前驱
11、动的频捕获格式 VIDIOC_TRY_FMT /验证当前驱动的显示格式 VIDIOC_CROPCAP /查询驱动的修剪能力 VIDIOC_S_CROP /设置视频信号的矩形边框 VIDIOC_G_CROP /读取视频信号的矩形边框VIDIOC_QBUF /把数据从缓存中读取出来 VIDIOC_DQBUF /把数据放回缓存队列 VIDIOC_STREAMON /开始视频显示函数 VIDIOC_STREAMOFF /结束视频显示函数 VIDIOC_QUERYSTD /检查当前视频设备支持的标准,例如PAL或NTSC。3、操作流程V4L2提供了很多访问接口,你可以根据具体需要选择操作方法。需要注意的
12、是,很少有驱动完全实现了所有的接口功能。所以在使用时需要参考驱动源码,或仔细阅读驱动提供者的使用说明。下面列举出一种操作的流程,供参考。(1)打开设备文件int fd = open(Devicename,mode); Devicename:/dev/video0、/dev/video1 Mode:O_RDWR | O_NONBLOCK如果使用非阻塞模式调用视频设备,则当没有可用的视频数据时,不会阻塞,而立刻返回。(2)取得设备的capabilitystruct v4l2_capability capability;int ret = ioctl(fd, VIDIOC_QUERYCAP, 看看设
13、备具有什么功能,比如是否具有视频输入特性。(3)选择视频输入struct v4l2_input input;初始化inputint ret = ioctl(fd, VIDIOC_QUERYCAP, 一个视频设备可以有多个视频输入。如果只有一路输入,这个功能可以没有。(4)检测视频支持的制式v4l2_std_id std;do ret = ioctl(fd, VIDIOC_QUERYSTD, while (ret = -1 switch (std) case V4L2_STD_NTSC: / case V4L2_STD_PAL: / (5)设置视频捕获格式struct v4l2_format f
14、mt;fmt.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_UYVY;fmt.fmt.pix.height = height;fmt.fmt.pix.width = width;fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;ret = ioctl(fd, VIDIOC_S_FMT, if(ret) perror(VIDIOC_S_FMT/n);close(fd);return -1;(6)向驱动申请帧缓存struct v4l2_requestbuffers
15、req;if (ioctl(fd, VIDIOC_REQBUFS, v4l2_requestbuffers结构中定义了缓存的数量,驱动会据此申请对应数量的视频缓存。多个缓存可以用于建立FIFO,来提高视频采集的效率。(7)获取每个缓存的信息,并mmap到用户空间typedef struct VideoBuffer void *start; size_t length; VideoBuffer;VideoBuffer* buffers = calloc( req.count, sizeof(*buffers) );struct v4l2_buffer buf;for (numBufs = 0;
16、numBufs nr0 :次设备号=base(基准值,受type影响)+nr; 否则:系统自动分配合适的次设备号具体驱动只需要构建video_device结构,然后调用注册函数既可。Video核心层(drivers/media/video/videodev.c)提供了注销函数void video_unregister_device(struct video_device *vfd)2、struct video_device 的构建video_device结构包含了视频设备的属性和操作方法。参见zc301_core.cstrcpy(cam-v4ldev-name, ZC0301P PC Came
17、ra);cam-v4ldev-owner = THIS_MODULE;cam-v4ldev-type = VID_TYPE_CAPTURE | VID_TYPE_SCALES;cam-v4ldev-fops = cam-v4ldev-minor = video_nrdev_nr;cam-v4ldev-release = video_device_release;video_set_drvdata(cam-v4ldev, cam);大家发现在这个zc301的驱动中并没有实现struct video_device中的很多操作函数,如:vidioc_querycap、vidioc_g_fmt_cap
18、等。主要原因是struct file_operations zc0301_fops中的zc0301_ioctl实现了前面的所有ioctl操作。所以就不需要在struct video_device再实现struct video_device中的那些操作了。另一种实现方法如下:static struct video_device camif_dev = .name = s3c2440 camif, .type = VID_TYPE_CAPTURE|VID_TYPE_SCALES|VID_TYPE_SUBCAPTURE, .fops = static struct file_operations c
19、amif_fops = .owner = THIS_MODULE, .open = camif_open, .release = camif_release, .read = camif_read, .poll = camif_poll, .ioctl = video_ioctl2, /* V4L2 ioctl handler */ .mmap = camif_mmap, .llseek = no_llseek,;注意:video_ioctl2是videodev.c中是实现的。video_ioctl2中会根据ioctl不同的cmd来调用video_device中的操作方法。3、Video核心层
20、的实现 参见内核/drivers/media/videodev.c(1)注册256个视频设备static int _init videodev_init(void) int ret; if (register_chrdev(VIDEO_MAJOR, VIDEO_NAME, ret = class_register( 上面的代码注册了256个视频设备,并注册了video_class类。video_fops为这256个设备共同的操作方法。(2)V4L2驱动注册函数的实现int video_register_device(struct video_device *vfd, int type, int
21、 nr) int i=0; int base; int end; int ret; char *name_base; switch(type) /根据不同的type确定设备名称、次设备号 case VFL_TYPE_GRABBER: base=MINOR_VFL_TYPE_GRABBER_MIN; end=MINOR_VFL_TYPE_GRABBER_MAX+1; name_base = video; break; case VFL_TYPE_VTX: base=MINOR_VFL_TYPE_VTX_MIN; end=MINOR_VFL_TYPE_VTX_MAX+1; name_base =
22、vtx; break; case VFL_TYPE_VBI: base=MINOR_VFL_TYPE_VBI_MIN; end=MINOR_VFL_TYPE_VBI_MAX+1; name_base = vbi; break; case VFL_TYPE_RADIO: base=MINOR_VFL_TYPE_RADIO_MIN; end=MINOR_VFL_TYPE_RADIO_MAX+1; name_base = radio; break; default: printk(KERN_ERR %s called with unknown type: %d/n, _func_, type); r
23、eturn -1; /* 计算出次设备号 */ mutex_lock( if (nr = 0 if (NULL != video_devicei) mutex_unlock( return -ENFILE; else /* use first free */ for(i=base;i) if (NULL = video_devicei) break; if (i = end) mutex_unlock( return -ENFILE; video_devicei=vfd; /保存video_device结构指针到系统的结构数组中,最终的次设备号和i相关。 vfd-minor=i; mutex_
24、unlock( mutex_init( /* sysfs class */ memset( if (vfd-dev) vfd-class_dev.parent = vfd-dev; vfd-class_dev.class = vfd-class_dev.devt = MKDEV(VIDEO_MAJOR, vfd-minor); sprintf(vfd-class_dev.bus_id, %s%d, name_base, i - base);/最后在/dev目录下的名称 ret = device_register(/结合udev或mdev可以实现自动在/dev下创建设备节点 从上面的注册函数中可
25、以看出V4L2驱动的注册事实上只是完成了设备节点的创建,如:/dev/video0。和video_device结构指针的保存。(3)视频驱动的打开过程当用户空间调用open打开对应的视频文件时,如:int fd = open(/dev/video0, O_RDWR);对应/dev/video0的文件操作结构是/drivers/media/videodev.c中定义的video_fops。static const struct file_operations video_fops= .owner = THIS_MODULE, .llseek = no_llseek, .open = video_
26、open,;奇怪吧,这里只实现了open操作。那么后面的其它操作呢?还是先看看video_open吧。static int video_open(struct inode *inode, struct file *file) unsigned int minor = iminor(inode); int err = 0; struct video_device *vfl; const struct file_operations *old_fops; if(minor=VIDEO_NUM_DEVICES) return -ENODEV; mutex_lock( vfl=video_device
27、minor; if(vfl=NULL) mutex_unlock( request_module(char-major-%d-%d, VIDEO_MAJOR, minor); mutex_lock( vfl=video_deviceminor; /根据次设备号取出video_device结构 if (vfl=NULL) mutex_unlock( return -ENODEV; old_fops = file-f_op; file-f_op = fops_get(vfl-fops);/替换此打开文件的file_operation结构。后面的其它针对此文件的操作都由新的结构来负责了。也就是由每个具体的video_device的fops负责。 if(file-f_op-open) err = file-f_op-open(inode,file); if (err) fops_put(file-f_op); file-f_op = fops_get(old_fops); 以上是我对V4L2的一些理解,希望能对大家了解V4L2有一些帮助。
链接地址:https://www.31doc.com/p-3416517.html