论文阅读：基于超像素的图卷积语义分割（图结构数据）

#Superpixel-based Graph Convolutional Network for Semantic Segmentation

github链接

引言

GNN模型根据节点特征周围的边来训练节点特征，并获得最终的节点嵌入。通过利用具有不同滤波核的二维卷积对来自附近节点的信息进行整合，给定超像素方法生成的特征信息。本文是基于图卷积神经网络，利用超像素图斑对象构建图结构数据，通过对节点实现语义分类，实现超像素分割。

• 图学习框架：

  * 转导学习的训练和预测阶段，边缘和节点保持不变。因此，它不允许泛化到不可见的节点和边。

  * 归纳学习始于在具有某些图属性的训练网络中学习模型。经过训练的模型可以近似训练图中可能链接的未知特征。

• 图卷积与CNN具有相同的属性：

  通过普卷积与空间卷积进行分类

  * 谱图卷积使用基于图信号傅里叶变换的谱滤波器，即图拉普拉斯矩阵的特征分解。但是，它需要一个完整且固定的图，因为图拉普拉斯依赖于整体图结构

  * Spatai卷积网络学习节点嵌入函数，仅反映节点的局部邻域，而不是引用整个图，该模型成功地处理了看不见的图或图中的连续变化

  实验结果：

  

  

  ---

  这是一篇2019-2020年的文章，文章的算法精度不是很高，实验数据是无人机数据，相较于经典的CNN与transformer深度学习算法的精度是稍差一些，但对于一些样本数据较少的可能提供一些解决思路，单张输入影像可以达到3000*3000左右，这里利用超像素在一定程度上实现了数据降维的作用。

  看过文章提供的代码后发现，文章在构建图结构信息的时候，仅使用了超像素图斑的像素平均值作为特征。有关图卷积神经网络比较新的文章采用的策略是先通过卷积神经网络进行特征提取，然后采用图结构作为解码端去结合一些先验信息实现分类或分割，后续会更新一篇相关文章作为参考。

  文章提供的代码基于dgl和pytorch实现，对显存有一定要求。