关键点检测技术的基本原理、关键点检测的基本方法.doc
《关键点检测技术的基本原理、关键点检测的基本方法.doc》由会员分享,可在线阅读,更多相关《关键点检测技术的基本原理、关键点检测的基本方法.doc(8页珍藏版)》请在三一文库上搜索。
1、关键点检测技术的基本原理、关键点检测的基本方法6月30日下午,在七牛架构师实践日第二十九期吴子章进行了关键点检测技术在自动驾驶视觉感知中的应用为题的实战分享。本文是对演讲内容的整理。纵目科技自动驾驶感知算法经理,主要研究道路场景下的目标检测、分割及跟踪,并推进相关算法性能优化与嵌入式移植等。在自动驾驶中,环境感知是一个非常重要的环节,它不仅可以帮助无人驾驶汽车进行定位,还可以告知障碍物等信息以帮助决策模块去调整驾驶行为。在视觉感知任务中,实际上有很多细分的任务类型,比如目标检测、目标跟踪、语义分割、实例分割、关键点检测等,而这些细分任务在我们的环境感知中都有着非常重要的应用。本次分享主要从以下
2、内容展开:介绍关键点检测技术的基本原理、关键点检测的基本方法、该技术自动驾驶当中的应用,以及关键点检测技术现存哪些问题,未来发展的方向以及在自动驾驶中的发展潜力。01关键点检测技术简介在图像处理中,关键点本质上是一种特征。它是对一个固定区域或者空间物理关系的抽象描述,描述的是一定邻域范围内的组合或上下文关系。它不仅仅是一个点信息,或代表一个位置,更代表着上下文与周围邻域的组合关系。比如在人脸关键点检测任务当中,有 28 个关键点,或是现在比较流行的 64 个、128 个关键点,这里面每个点在不同的人脸当中,代表了一类的特征,且具有一定的通用性。这一类特征不仅包含了像素的一些特性,比如嘴唇的特征
3、点,包含了嘴唇与面部的位置关系。右边的图片是前段时间比较火的阿里推出的服饰关键点比赛,比如在这件服饰中提供了 13 类关键点,每个关键点之所以被定位为一类关键点,因为它代表了服饰当中某一个特定的位置,或者某一个特定的位置所能代表的周围的关系。而在人体姿态检测当中,这个关键点不仅代表一个关节,还代表着这个关节和其他关节之间的关系,比如这个关节能跟其他哪些关节联系得比较紧密。02关键点检测的两个类型和方法一个方面是用点回归的方式来解决,另一个是用点分类的方法。但是这两个方法,都是一种手段或者是途径,解决的问题就是帮助我们把这个点在图像当中的位置与关系给找出来。关键点检测技术原理以 openpose
4、 的人体关键点为例,这是大家比较熟悉的一个人体关键点检测的网络。网络从输入图像开始经过基础段提取特征,这些特征帮助后面进行关键点回归和关系回归提供一些素材。如果前面的特征不够丰富的话,后面处理的结果也很难达到理想的效果。这也是大网络普遍会比小网络处理问题具有更高精度的最主要的一方面原因。但是对于小网络来说,把这些特征都保持下来,或者提出比原来大网络更加丰富的特征,但是占用的空间不需要那么大,这样会比过去的大网络具有更加精确的处理结果,占用的空间和效率都可以看到这方面的探索。这方面的探索在许多自动驾驶当中都会被用到,所有算法需要跑到汽车上去测,需要在嵌入式的板块上面实时跑起来,而不需要在其他比较
5、大的平台上面跑。这是比较经典关键点检测网络,它的设计非常简明:一个分支去回归它的点,另一个分支去回归它的关系。这个点标签和关系标签,都是用上图的类似方式去定义。这种定义的方法减轻了回归的难度。所用的多阶段的方式,相当于每个阶段给我们提供出来一定的结果。下一个阶段对这个结果进行多阶段精度的实验,在我们没有检测当中或者是其他分割当中,其他领域当中都有很多类似方法出现。从上面右图当中可以看到,通过多阶段的精度看到点的效果是整体上是在不断提高的,即便有个别的点可能下降,这也属于是正常的情况,因为它做了多阶段的融合。这种处理方法,在基于深度学习的处理手段当中是比较常见的。现在关系的回归,也是经过这样多阶
6、段的精修,能够考虑或结合到各种不同阶段的信息,它的处理结果也在不断提高。这种方法在我们三维的车辆检测当中,或者是二维的检测当中,也是经常用到的。在关键点检测当中,关系的回归是非常重要的一种。对关系的定义,可以在两个点之间定义一部分的关系,或者是定义一个比较窄的领域去做的一件事情,这也就是我们论文当中经常会提到的一种场的定义。场的定义相当于在一个领域范围之内,对它进行一定的加强定义,包括位置和朝向等,这属于是一个多维度的考量。这种方式可以帮助我们解决在一个图片当中或者是一次检测任务当中,出现出现多个目标、关系,同时多个目标和当中的点需要进行互相关系的联连通的时候,这个方法会有优势。因为它会帮助我
7、们剔除掉不同标签之间点的错误连接,同时也能够帮助剔除掉一些不符合关系约束的点。以刚才 openpose 的方法为例,它回归的精度,受限于图片下采样的倍数。比如在 MIT 的论文当中,它的精度就是在 8 x 8 这样一个像素范围之内。如果要提高我们回归的精度,有两种方式:一种就是降低下载的倍数,尽量在大图上做这个事情。原作者不在大图上做这件事情是因为在大图上得不到这么好的效果,图越大,回归难度,也就是回归的范围就越大,所以采取了这样一个降采样,把任务的难度降低。关键点检测的通用性这个通用关键点可以体现在以下几个方面:在自动驾驶当中,通过这个关键点可以找出人的行为,比如在停车场中看到一个保安正在向
8、我们挥手,这个车位是有特殊用途的,你们不可以停。或者是在一些驾驶环境当中,做一些人脸关键点的检测,帮助我们去识别出驾驶人员的情绪、精神的状态等。另外一方面,可以用这种方式去帮助识别出一些马路边突然出现的一条小狗。在我们自动驾驶车辆跑的过程当中,如果遇到这种问题,要识别出的不能只是一个简单的障碍物,是一个不可控的动物,也要通过关键点识别出它的动作,是要下蹲还是横穿这条路。其次,车辆在外面跑的时候,我们通过观察路面上的一些路面标志,比如路牌、地面上的箭头,或者是其他一些关键标志,这些标记的点是可以帮助我们去定位,可以在地图上找到这些定位点,我们通过这些点能够辅助我们更精确地获得我们实时的位置,起到
9、更精确的定位作用。03关键点检测在自动驾驶中的应用在自动驾驶当中,有一些关键点检测的应用。比如箭头的检测,检出箭头的同时,可以把它的关键节点回归出来,不同的颜色的点代表不同的类型,并且不同的点有它的位置信息。通过这些点,作为地图上的坐标,可以实时、精确地告诉车辆,告诉自动驾驶的大脑,我们现在的位置。箭头的关键点检测,也是用了类似的方法,虽然它的网络模型已经改得面目全非了,但是它的原理是一样的,通过不同等级的金字塔级别,可以把不同级别的点信息融合起来,从而提高它的精度,另一方面提高它的检测率。在箭头或者是其他的一些关键点当中,也是需要知道每个点和另外一个点之间连接的关系,也就是它关系的回归。并不
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 关键 检测 技术 基本原理 基本 方法
链接地址:https://www.31doc.com/p-3389074.html