当前位置: 智能网 > 人工智能 > CVPR 2020 |用于3D目标检测的层级图网络

CVPR 2020 |用于3D目标检测的层级图网络

放大字体 缩小字体 发布日期:2020-09-01 12:05:42   浏览次数:95
核心提示:2020年09月01日关于CVPR 2020 |用于3D目标检测的层级图网络的最新消息:论文:A Hierarchical Graph Network for 3D Object Detection on Point Clouds由于大多数现有的点云对象检测方法不能充


论文:A Hierarchical Graph Network for 3D Object Detection on Point Clouds

由于大多数现有的点云对象检测方法不能充分适应点云的特征(例如稀疏性),所以一些关键的语义信息(如物体形状)不能被很好的捕捉到。本文提出了一种基于层级图网络(HGNet)的图卷积(GConv),可以直接将点云作为输入来预测 3D 的边界框。形状注意图卷积(SA-GConv)可以通过剑魔点的位置星系来描述物体形状,基于 SA-GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选,然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。

论文背景

由于点云的稀疏性,一些已有的为网格形式数据设计的方法(如CNN)在点云上的表现并不好,为解决这一问题,最近有一些对点云数据的方法被提出,例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法。前两种试图将点云数据严格转换为网格结构数据,而后一种则在不明确考虑点的几何位置的情况下聚合特征。

与其他方法相比,PointNet++ 可以保留点的稀疏特点,因此被广泛作为框架的骨架。当目前仍有一些未能很好解决的挑战,首先由于没有考虑点的相对几何位置,因此使用 PointNet++ 作为主干忽略了一些局部形状信息。其次,框架的结构没有充分利用多级语义,这可能会忽略一些有助于目标检测的信息。

本文提出了一个基于图卷积(GCONV)的层级图网络(HGNet)用于基于点云的 3D 目标检测。HGNet 包含三部分:一个基于图卷积的 U 形网络(GUnet)、一个候选生成器以及一个候选推理模块(ProRe Module)。

整个 HGNet 以端到端的方式进行培训。在本文的框架中,点云的局部形状信息、多级语义和全局场景信息(候选的特征)已被层级图模型充分捕获、聚合和合并,充分考虑了点云数据的特征。

本文的主要贡献如下:

(A)开发了一种新的层级图网络(HGNet),用于在点云上进行 3D 对象检测,其表现好于已有方法。

(B)提出了一种新颖的 SA-(De)GConv,它可以有效地聚合特征并捕获点云中对象的形状信息。

(C)构建了一个新的 GU-net,用于生成多级特征,这对于 3D 对象检测至关重要。

(D)利用全局信息,ProRe 模块通过对候选进行推理来提高效果。

论文模型

融合采样

3D 目标检测有基于点和基于体素两种框架,前者更加耗时,由候选生成与预测细化两个阶段组成。

在第一个阶段,SA 用于降采样以获得更高的效率以及扩大感受野,FP 用来为降采样过程中丢掉的点传播特征。在第二阶段,一个优化模块最优化 RPN 的结果以获得更准确的预测。SA 对于提取点的特征是必需的。但 FP 和优化模块会限制效率。

形状注意图卷积

点云通常不能清楚地表示出物体的形状,可以使用其相邻点的相对几何位置来描述点周围的局部形状。本文介绍了一种新颖的形状注意图卷积,它通过对点的几何位置建模来捕获对象形状。

对于一个点集 X,其中每一个点由其集合位置 p_i 以及 D 维的特征 f_i 组成,我们想要生成一个 X’,本文设计了图卷积用于聚合从 X 到 X’ 的特征。与 PointNet++的采样层相类似,本文首先从 n 个点中采样 n’ 个点,通常 K 最近邻(KNN)被用来在采样中保留局部信息将其作为中心点特征。

其中 g 表示 i 和 j 的相对位置,通过一个卷积将三维变为一维,f 是 mlp,然后二者的乘积就是中心点的 knn,其中最大的作为 i 的特征。形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数。虽然形式上没有 attention 中的 softmax 这样的归一化,但是 g 的输出就和 attention一样,每个点的 weights,然后对应的乘以特征。

 
关键词: 特征 卷积 采样

[ 智能网搜索 ]  [ 打印本文 ]  [ 违规举报

猜你喜欢

 
推荐图文
ITECH直流电源在人工智能领域的应用 基于朴素贝叶斯自动过滤垃圾广告
2020年是人工智能相关业务发展的重要一年 我国人工智能市场规模、行业短板、发展前景一览
推荐智能网
点击排行

 
 
新能源网 | 锂电网 | 智能网 | 环保设备网 | 联系方式