陕西西安电子科技大学 李小军，穆孙楠，乔世琦，邹可焓灵，李茂嵩 710126
摘要：原始数据以及数据传输过程中或产生异常值，可导致输出数据质量大大下降，因此，信号去噪是一个非常重要的问题。近年来随着图结构信号的广泛应用，图信号去噪得到广泛关注。现有大多数图自编码器(GAE)数据传输算法，虽然可以选择优化复制的数据，但仍难以消除原有数据中的异常值。针对该问题，提出了基于注意力图自编码器(AGAE)的时空图数据降噪方法，该模型可以进行时空图重构并有效消除异常值。实验结果表明，该方法在时空图数据的传输重构过程相较于传统算法表现出更良好的性能。
关键词：图自编码器；图卷积；图信号去噪；注意力机制
0引言
许多现实世界的数据都可以抽象为图的形式，以表示数据中对象之间的复杂关系。[1]动作识别领域同样需要大量图数据的获取、传输与分析，并且现实网络通常是动态的，节点和边特征并非固定不变，因此构建拥有空间维度以及时间维度的图网络进行传输分析的模型至关重要[2]。在传统的图网络传输分析中，网络特征的提取和传输很大程度上依赖于特定的任务类型，在该过程中，难以剔除原有数据中的某些异常值。针对该问题，本文尝试引入一种基于注意力图自编码器的时空图数据降噪方法。与大多数现有的用于图数据重构去噪的模型相比[4-7]，我们的模型增加注意力机制，结合图自编码器，在时空图数据去噪重构过程中具有更好的性能。
本文的主要贡献包括2个方面：
1）在图自编码器重构时空图方法[8-9]的基础上增加注意力机制，提出AGAE模型，达到时空图数据降噪效果；
2）实验表明，本文提出的AGAE模型在进行时空图数据重构过程中相较于传统模型表现出更好的性能，进一步可以将该模型应用于动作识别等下游任务。
2相关工作
图信号去噪是一个非常具有挑战的问题，在本研究中，我们采用基于注意力图自编码器模型进行时空图数据重构，在介绍我们的方法之前，将分三个部分解释相关的工作。首先，我们将介绍在编码器部分应用的图卷积网络的方法；接着介绍图信号去噪的问题；最后解释池化的必要知识背景。
2.1图卷积网络
.png)
2.3 池化
池化操作的主要目的是降维，以降低计算量，并在训练初期提供一些平移不变性。[10]池化操作就是使用一个固定大小的滑窗在输入上滑动，每次将滑窗内的元素聚合为一个值作为输出。根据聚合的方式不同，可以分为平均池化和最大值池化。
3基于注意力图自编码器的时空图数据降噪模型
具体来说，本文提出的AGAE模型主要包含3个部分：1）采用时空图卷积以及图池化作为编码器，得到编码层向量；2）采用注意力机制获得隐藏层向量；3）采用时空图卷积以及图上采样池化作为解码器，得到解码层向量即输出。本节中，我们将分为四个小节，分别介绍模型的三个部分：图卷积层，池化层、反池化层以及模型采用的注意力机制，最后给出模型的总体架构。
3.1图卷积层
我们采用了图卷积神经网络(GCN)，具体来说，GCN模型是通过叠加多个GCN层来创建的，GCN层的运算公式如下：
.png)
(9)中的卷积规则可以看作是一个消息传递过程。考虑某个节点Vi，这个过程包含两个步骤。在第一步中，通过 对Vi附近节点的特征进行聚合。在第二步中，通过将.png)
与权重W相乘，将Vi的特征向量元素进行线性变换。接着利用非线性函数.png)
激活输出。通过堆叠多个GCN层， Vi可以聚合很多与其非相邻节点的特征。因此，这种机制允许通过权衡它们的相对临近节点的特征来学习目标节点的良好表示。
3.2池化层以及反池化层
对于经过GCN后的图网络，每个节点都获得了隐藏层向量，但并不是所有节点都对于任务输出有效。每一个对于所有的节点都进行聚合会难以得到重要的节点信息。所以，我们采用池化的思想，加入图池化层。所有节点的隐藏层向量都和可学习的池化层向量进行点积并进行排序，得到各个节点的分数，选取前k个作为池化后图。池化层向量可以理解为对节点特征的选择向量，通过点积结果筛选过滤对于特征选择不相关的节点，得到的新图即是具有共同特征的节点，即聚合了具有相同特征空间投影的诸多节点，以便于神经网络更紧凑得进行推理。
在解码器中，反池化层散射了输入激活数据，使得输出具有与池化Z之前的激活相同的形态（见图1）。
3.3 注意力机制
由于信息处理能力的局限，人类会选择性地关注完整信息中的某一部分，同时忽略其他信息。注意力机制的核心在于对给定信息进行权重分配，权重高的信息意味着需要系统进行加工。例如，对于某个图节点来说，如果只使用GCN，那么默认每个邻居节点对它的重要性是相同的，但实际上是不同的，所以每两个节点之间有一个标量值，即注意力大小。下面公式阐述神经网络中注意力机制的数学表达形式。
.png)
(5)
3.4模型结构
我们提出的基于注意力图自编码器的时空图降噪模型由编码器和解码器组成。其中，编码器包含一个图形卷积(GCN)层，接着是一个池化层，其中加入注意力层；而解码器是由一个反池化层和一个GCN层组成。在编码器和解码器之间有一个针对于隐藏层向量的全连接层以及GCN层。整体模型架构如图1所示。
.png)
注意力机制方程
一个“GCN”块代表一个图卷积层；一个“Pooling”块代表设计的池化层；在池化层之后加入注意力机制；一个“FC”块代表一个完全连接的层。
AGAE具有良好的解释性：通过GCN，每个节点聚合，为了防止GCN的过平滑问题，我们在解码器和编码器只采用一层GCN网络，同样能得到理想的效果。为了防止聚合节点信息过多而导致无效，我们采用并联的n层池化层，根据超参数k值提取n个子图，每个池化层的特征选择向量都可由反向传播进行学习。每个子图代表了根据某种特征选择抽取的子图空间。接下来对于每个子图，分别对每个子图应用线性层，分别映射到另一个子空间，得到更加抽象的表征，并再次利用GCN层提取更加细节的领域信息。最后通过反池化将子图还原，各个特征值相加还原成和输入图拓扑结构完全相同的图网络。从而实现图信号重构。我们通过输入带有异常信号值的图网络，原先完全正常的图网络作为重构标签实现模型训练。
4总结
图信号去噪是近年来备受关注的问题，为此，我们提出基于变分图自编码器的时空图数据重构方法，该模型能够有效地恢复带噪声地图结构信号。我们计划将所提出的模型应用于动作识别等下游任务中，并计划将所提出的墨西哥扩展到各种类型地图结构信号中。研究不同的图信号去噪工作是对图自编码器或图神经网络地一个有趣的方向，可以应用于多种任务中。
参 考 文 献
[1] 陈可佳，鲁浩，张嘉俊. 条件变分时序图自编码器[A]. 计算机研究与发展，2020,57(8):1663-1673.
[2] Rui Dai and Shenkun Xu. Hybrid Spatio-Temporal Graph Convolutional Network: Improving Traffic Prediction with Navigation Data cs.LG,2020
[3] D.J. Rezende, S. Mohamed, and D. Wierstra. Stochastic backpropagation and approximate inference in deep generative models. In Processing of The 31st International Conference on Machine Learning (ICML),2014.
[4] L. Tang and H. Liu. Leveraging social media networks for classification. Data Mining and Knowledge Discovery, 23(3)447-478,2011.
[5] B. Perozzi, R. Sl-Rfou, and S. Skiena. Deepwalk: Online learning of social representations. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD), pages 701-710. ACM, 2014.
[6] J. Tang, M. Qu, M. Wang, M. Zhang, J. Yan, and Q. Mei. Line: Large-scale information network embedding. In Proceedings of the 24th International Conference on World Wide Web, pages 1067-1077. ACM, 2015.
[7] A. Grover and J, Leskovec. Node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD)，2016.
[8] Kipf T N, Welling M. Variational graph auto-encouders[C/OL] //Proc of Neural Information Processing Systems Workshop, 2016[2020-03-20]. https://arxiv.org/abs/1611.07038
[9] 翟正利，梁振明，周 炜，等. 变分自编码器模型综述[A]. 计算机工程与应用，2019,55(3):1-9.