3D网格重建学习-单一角度预测物体3D结构的框架.doc
《3D网格重建学习-单一角度预测物体3D结构的框架.doc》由会员分享,可在线阅读,更多相关《3D网格重建学习-单一角度预测物体3D结构的框架.doc(4页珍藏版)》请在三一文库上搜索。
1、3D网格重建学习:单一角度预测物体3D结构的框架看到一张图片,我们很容易就能猜测出图中物体的立体模样,但是机器能做到吗?美国加州大学伯克利分校的研究人员就开发了一个框架,让机器通过一张图片就能还原出立体原型,并添加自然的纹理图案。以下是论智对原论文的编译,后附论文地址和实验结果展示视频。我们开发了一种学习框架,能够通过一张图片还原图中物体的3D形状、摄像角度及纹理。形状用可变形的3D网格模型表示。上图中有许多小鸟,即使我们是第一次看到这种图片上二维的鸟类,我们依然能推断出它大概的3D形状、了解拍摄的角度、甚至能猜出从另一个角度看它会是什么样。我们能做到这些是因为之前我们见过的鸟类能让我们对陌生
2、小鸟有个大致轮廓,这些知识帮助我们还原这些案例的3D结构。在这篇文章中,我们展示了一个能根据单张图片推断3D表示的计算模型,如上图所示,学习过程只需要一张标注过的2D图像,其中包括目标对象的类别、前景掩码和语义重点标签。我们的目标是生成一个预测器f(参数化设置为一个CNN),它可以从单张照片I中推断出目标物体的3D结构。在这个项目中我们希望将物体的形状用3D网格表示,这种表示比其他方法(比如probabilistic volumetric grids)有更多优点,例如可对纹理进行模拟、进行相应的推理、表面水平推理和可解释性。我们提出的框架如下图所示。输入的图像通过一个编码器后到达由三个模块组成
3、的表征,它可以预测相机位置、物体形状和花纹的参数。用模型推断目标物的3D表示首先,给定一张图像I,我们预测f(I)(M, ),网格M和相机位置用来捕捉对象的3D结构。具体的推导过程可查看原论文。除了这些直接预测的方面,我们还学习了网格和类别水平语义重点之间的关系。当我们在规范框架中使用特定类别的网格来表示形状时,跨实例的规律能帮助我们找到语义一致的定点位置,从而隐含地赋予这些顶点语义。经过这一步,我们就利用一张图片I推断出了相应的相机位置和形状V。同时,我们还通过学习实例独立的参数。推断出了网格定点的位置V和语义重点AV。从图像集合中学习为了训练f,我们提出了一种不依赖于实际3D形状和多角度图
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网格 重建 学习 单一 角度 预测 物体 结构 框架
链接地址:https://www.31doc.com/p-3244601.html