摘要：视觉和红外相机具有互补的属性，将它们一起使用可以提高人脸识别的性能。这项研究提出了一种新的有效人脸识别方法，融合了来自两个领域的互补信息。第一步，通过基于区域分割和PCNN的新图像融合方法获得融合图像。第二步，根据熵的贡献，通过ECA和2DECA提取融合图像的特征。该方法已在OTCBVS数据库上进行了测试，实验结果的比较表明，该方法在人脸识别中表现良好。
关键词：人脸识别；图像融合；人工神经网络；2DECA；熵贡献；区域分割
一、介绍
由于自动人脸识别[1]在许多应用领域中的重要作用，例如访问控制、视觉监视和政府签发的身份证件（如护照和驾驶执照）的重复数据消除，在过去20年中，人们对其进行了广泛的研究。人脸识别系统通常在两种情况下运行：验证或识别。
人们提出了许多技术，包括高分辨率静止图像的识别、多幅静止图像的识别和多模态人脸识别。在影响人脸识别性能的几个因素中，在视觉图像的情况下，光照条件却不是很一致，在采集人脸纹理细节时。其他因素如太阳镜、胡须、胡子等也在识别过程中起到了积极的作用。多模态人脸识别[2]的重点是利用互补信息的融合来进行人的识别，以解决这些领域中存在的缺陷。
在模式识别领域，主成分分析[3]（PCA）是一种流行的方法。在主成分分析中，人们希望通过投影矩阵使训练样本的方差最大化。二维主成分分析（2DPCA）是一种直接利用图像矩阵的二维主成分分析方法。与这些基于特征值贡献的方法相比，核熵分量分析[4]（KECA）方法根据熵贡献提取特征值。受KECA的启发，我们提出了熵分量分析（ECA）和二维熵分量分析（2DECA）用于特征提取。
本文提出了一种用于多模式人脸识别的红外图像融合技术。我们首先将热红外图像和视觉人脸图像结合起来，利用提出的图像融合方法得到融合后的图像。然后利用ECA和2DECA提取融合图像的特征，最后利用最小距离分类器实现识别过程。
本文的其余部分安排如下：第一节总结了前人的工作，第二节对本文提出的算法进行了说明。第三节介绍了实验结果。最后，第四节结束了这项工作。
二、融合图像的特征提取
基于区域的图像融合[5]具有融合过程更加稳健的优点，避免了像素级融合中的一些常见问题，如模糊效应、对噪声和误配准的高灵敏度等。本文提出了一种结合区域分割和PCNN的特征级图像融合方法。首先，采用模糊c-均值聚类算法（FCM）进行聚类分析。在多通道Gabor滤波器[6]形成的特征空间中对图像进行分割，然后对图像进行多尺度小波分解。其次，将低频系数与边缘强度进行融合，高频系数与PCNN进行融合。最后，利用小波逆变换得到融合图像。
PCNN是由多个PCNN神经元组成的反馈网络。在图像处理中，PCNN是一个单一的二维连接网络，神经元的数目等于图像中输入像素的数目。因此，对应于M×N像素的神经元数目，PCNN神经元由以下数学模型描述：
.png)
经过多尺度小波分解后，低频系数表示图像的近似权重，包含图像的轮廓信息；高频分量表示图像的细节，反映图像的边缘和纹理特征。由于低频段和高频段包含的信息种类不同，因此对低频段和高频段分别采用不同的融合方法。
.png)
三、实验和结果
在本研究中，所有的实验都是用MALTAB模拟的。我们使用OTCBVS数据库来分析我们的算法性能，OTCBVS数据库是热红外和视觉人脸识别技术的标准。
在我们的研究中，我们从14个不同的人中选择了人脸图像，每个人有8对热红外和可见光图像，其中包含4种照明类型：Lon、Ron、2on和off。每个照明有两个姿势图像。然后我们将融合后的图像与其他图像进行人脸识别性能的比较。在识别实验中，每人选择一张图像到七张图像作为训练集，其余图像作为测试集。我们融合图像的识别率高于其他条件。融合图像中包含的细节和特征比加权融合图像和小波融合图像中包含的细节和特征要多。结果表明，融合后的方法具有较好的识别性能。
四、总结和结论
本论文提出了一种基于特征级图像融合和熵成分分析的人脸识别新方法。融合后的图像通过基于区域分割和PCNN的图像融合得到。采用ECA和2DECA方法对融合图像进行特征提取。在OTVBCS基准数据库上验证了该方法的有效性，识别率优于其它方法。可见光谱和红外光谱信息的协同融合增加了融合图像的解释内容。实验结果表明，该方法对多模式人脸识别是有效的，即使在光照较差的情况下也是如此。此项研究对人脸识别技术具有重要的价值。
参考文献：
[1]葛微. 自动人脸识别的关键问题研究[J]. 2010.
[2]叶剑华, 刘正光. 多模态人脸识别融合方法比较研究[J]. 计算机工程与应用, 2009(19):157-160.
[3]刘直芳, 游志胜, 王运琼. 基于概率主成分分析的人脸识别[J]. 红外与激光工程, 2004, 33(1):5901-5903.
[4]黄丽瑾, 施俊, 钟瑾. 基于核熵成分分析的数据降维[J]. 计算机工程, 2012, 38(2):175-177.
[5]赖思渝, 王娟, 李明东. 一种基于区域分割的图像融合方法[J]. 微型电脑应用, 2011, 027(011):59-61.
[6]高涛, 何明一, 白磷,等. 组合局部多通道Gabor滤波器和ICA的人脸描述与识别[J]. 计算机应用研究, 2008, 25(11):3517-3520.