吴 静1, 张倩文2，魏温雅2，
(1.陕西科技大学；2 杭州电子科技大学)
摘要：本文以红外与光学成像为研究对象，提出采用XGBoost集成深度学习算法，通过对光学图像首先采用了镜像翻转、图像分割、灰度化与归一化等图像预处理手段对样本数据进行修正，研究了在小样本数据集中四种算法的性能表现。结果表明：对于小样本数据集，随机森林和 XGBoost 的训练效果最好，准确率达98.75%，优于其他几种算法。
关键词：红外可见光图像；目标识别；决策树；集成学习；深度森林；
1.绪论
在过去的几十年里，红外与光学结合的图像识别方法得到了广泛的研究，相关研究者在早年大多数方法是基于传统的人工特征来训练分类器，设计了如 K 近邻分类器、支持向量机分类器等众多经典分类器。在分类器设计领域中，随机森林与集成学习算法[1-3] 是一类非常简单高效的代表性算法。简单的神经网络无法保证在输入图像发生旋转或局部变形时的训练效果，针对以上问题，卷积神经网络方法大大提高了准确率以及参数模型的训练速度[4,5]。在分类器设计方面，SVM（支持向量机）、RF(随机森林)、XGBoost（进化梯度提升算法）[6-8] 等多种分类算法都十分高效，基于树模型的深度学习与集成学习方法更容易进行理论分析，本文主要研究了以决策树理论为基础的深度集成方法[9-12]。
2.问题描述
假设红外/可见光图像训练集为个训练样本，其中是数据样本，是类别标签，考虑数据样本，即样本数据有个属性，假设第个属性有个可能的取值，表示取值的集合，，按照属性对数据进行分类，会的到个分支，即第个分支上的样本数据集取值均为。
决策树模型由节点和有向边组成, 节点分为内部节点与叶节点。决策树建模分为学习过程和生成过程，根据不同的目标函数，建立决策树的分裂算法优化准则，主要包括：信息增益、信息增益率和基尼系数。本文采用基于基尼系数(Gini)系数的CART决策树生成算法。在此基础上，采用集成的深度学习算法对图像进行属性识别。
3 红外与光学图像的深度集成算法
3.1 Boosting 与 XGBoost算法
Boosting 方法的原理是利用贪心算法的思想，经过多次迭代，逐渐累积多个弱评估器，从而得到更加精确的强分类器。在累积的过程中借助了凸损失函数在函数空间进行梯度下降，其中代表性的算法包括 AdaBoost(Adaptive Boosting) 算法、BDT (Gradient Boosting Decision Tree) 算法和 XGBoost(e Xtreme Gradient Boosting) 算法[6, 13]，本文选择 XGBoost 这种高级决策树集成算法作为主要研究对象，其动态建模过程如图1所示[13]：利用了贪心算法的思想，先建立一棵简单的决策树，然后逐渐迭代，在迭代过程中每次中都增加一棵树，逐渐形成一种集成了众多树模型的强分类器。
对于 XGBoost 来说，每个叶子节点上会一个概率估计得到的预测分数，称之为叶子权重，用 或者来表示，其中表示第棵决策树，表示样本所对应的特征向量。当只有一棵树的时候，就是返回的结果；多棵树的时候，所有树的预测分数相加得出对应的回归结果。
图1. XGBoost的动态建模过程
XGBoost算法主要由以下三部分组成：
（1）损失函数的定义。XGBoost算法的损失函数与模型复杂度结合起来，从而既可以衡量模型的泛化能力又可以衡量算法的运算效率，实现模型表现和运算速度的平衡优化，表示为：
（1）
其中表示第个样本,表示导入的数据样本总量，代表建立的所有树。在该损失函数中，第一项代表真实标签与预测值之间的差异；第二项代表模型的复杂度。在每一棵树的迭代过程中，采用了最小化损失函数来获取最优的参数值。第一项与已经建立好的所有树模型保持一定的相关性，其数学描述如下：
(2)
(2) 寻找最佳树结构。在定义了目标损失函数表达式后，在公式中以叶子节点上的预测分数来表达树，以叶子数目加深正则项来表示树模型的复杂度：
（3）
假设第t棵树的结构已经被确定为q，将树的结构带入目标损失函数进行转化，
求出在第 次迭代中需要求解的最优的树 ，得出目标损失函数为:
（4）
（5）
将公式 (5) 代入目标函数(4)中刚得到目标函数的最优解：
（6）
（3）寻找最佳分支。XGBoost在寻找最佳分支的过程利用了贪婪算法，其目标是通过寻找局部最优解进而找到全局最优解。即假设每片叶子都是最优，则生成的树结构也是最优结构，这种算法思想可以省去遍历所有可能树结构的麻烦，寻找最佳分支的流程如图2所示：
图2 寻找分支流程示意图
4.红外与光学图像的XGBoost识别方法
4.1 数据集
图3 红外与光学成像对比
目前公开的带标签的红外与光学图像数据集较少，本次实验基于小样本数据
集，因此可以手动采集图像数据。对于光学图像采集，实验采集了不同背景不同
远近的汽车模型与坦克模型的图像；对与红外图像采集，实验利用红外热像仪采
集了相同场景光学图像对应的图像数据，从而可以进行红外与光学图像的对比识
别测验，如图3所示。本文采取的图像预处理方法有：图像分割处理、灰度化与对比度增强、图像镜像翻转、尺寸归一化，如图4所示：
图4 数据预处理流程
4.2 实验及结果分析
本实验基于 Windows 操作系统、i5－10210CPU、MX350 的 GPU 和 16 Ｇ安装内存等环境，实验运行的软件环境为 Pycharm2020。针对坦克与汽车模型的红外与光学图像分类任务，将预处理后的800张坦克模型数据与 800 张汽车模型数据集合在一起，并利用 sklearn 库函数，以 4:1 的比例切分为训练集和测试集，数据集大小如图5所示:
图5数据集介绍
4.3 评价指标
(1) 混淆矩阵定义为将这四个指标罗列得到的矩阵，在判断分类模型分类效果时，我们希望 TP 与 TN 越大越好，FP 与 FN 越小越好。在本次课题实验中的四种分类算法混淆矩阵对比如下图6所示。
图6 四种算法混淆矩阵对比
然而单凭混淆矩阵很难衡量模型的优势与劣势，为了更好地进行模型评估，本次实验统计出了四个二级指标准确率 ACC,精确率 PPV,灵敏度 TPR,特异度 TNR，从表1可以看出，XGboost算法效果在4个指标上的表现最好。在小规模数据集的情况下，在深度学习算法中，gcForest 算法的训练效果优于 CNN 算法。与随机森林和 XGBoost 分类器对比发现，在小样本数据集上XGBoost精确率，XGBoost均优于深度森林方法，具有比较强学习能力，经过参数调整，准确率可以高达 98.75%。
表1. 不同分类器设计二级指标对比
5.结论
本文首先针对红外与光学图像目标识别问题进行了研究，提出采用XGboost算法对这两类图像进行识别。实验研究表明：卷积神经网络在小样本数据集上收敛速度慢，计算复杂等缺点，然后设计对比实验，在红外与可见光图像识别的问题上，寻找出最优的分类器设计时 XGBoost，并对实验结果进行了理论性的原因分析。
参考文献
[1] . 夏树涛 王. 集成学习之随机森林算法综述[J]., 2018, 12(01): 49-55.
[2] 唐伟. 周志华. 基于 Bagging 的选择性聚类集成[J]. 软件学报, 2005: 496-502.
[3] 张春霞. 张讲社. 选择性集成学习算法综述[J]. 计算机学报, 2011, 34: 1399-1410.
[4] 许可. 卷积神经网络在图像识别上的应用的研究[D]. 浙江大学, 2012.
[5] 孙志军. 薛磊. 许阳明. 王正. 深度学习研究综述[J]. 计算机应用研究, 2012, 29:2806-2810.
[6] 黄卿. 谢合亮. 机器学习方法在股指期货预测中的应用研究——基于 BP 神经网络、SVM 和 XGBoost 的比较分析[J]. 数学的实践与认识, 2018, 48: 297-307.
[7] ZHAO W P, LI J, ZHAO J, et al. XGB Model : Research on Evaporation Duct Height Prediction Based on XGBoost Algorithm[J]. Radioengineering, 2020, 29.
[8] 张婉. 融合深度学习的图像分类算法研究[D]. 2018.
[9] . 杨淑媛. 刘芳. 王士刚. 冯志玺 焦. 神经网络七十年: 回顾与展望[J]. 计算机学报, 2016, 39: 1697-1716.
[10] 董兰芳. 张军挺. 基于深度学习与随机森林的人脸年龄与性别分类研究[J]. 计算机工程, 2018, 44: 246-251.
[11] 许可. 卷积神经网络在图像识别上的应用的研究[D]. 浙江大学, 2012.
[12] 陈凯. 朱钰. 机器学习及其相关算法综述[J]. 统计与信息论坛, 2007: 105-112
[13] 王奕森. 夏树涛. 集成学习之随机森林算法综述[J]. 信息通信技术, 2018, 12:49-55.