李晋源 龚鸣敏
武汉学院信息工程学院
摘要：针对传统云台中拓展性弱、体量较大，导致拍摄方式及效果不佳的问题，提出基于智能识别分析、自动跟踪目标物体的云台设计。通过基于STM32核心控制之下，对云台进行轻量化、多功能和多拓展性的设计，能够支持无人机等智能设备，实现人脸识别、口罩识别、颜色识别、形状识别的特定特征的识别，满足在视频拍摄、无人机侦查、无人驾驶、军事等领域需求。
关键词：智能识别；人脸识别；跟踪；云台
引言
智能识别分析、自动跟踪目标物体技术能够广泛应用于视频拍摄、无人机侦查、无人驾驶、军事等领域。而目前许多目标跟踪系统都有一些缺点：首先，现有的云台系统的拓展性存在局限，难以满足多种拍摄需求，当用户需要手持或航拍时通常需要两种不同的云台系统。其次是功能受局限，因使用场景固定，现有云台功能设计上往往只对特定物体进行识别，这一功能局限也导致使用者进行拍摄分析时设备成本的提升。
我国的云台产业类型混杂、种类繁多、行业标准参差不齐的现象持续恶化，需要对云台系统问题的原因进行准确分析，并采取积极有效的策略来改善市场状况。当前成熟的云台系统、厂商和产品均基于行业巨头通过不同功能、多品类的产品研发体系得到的，智能识别云台的现状使得难以直接使用成熟的算法进行模拟分析和功能拓展。智能识别云台为符合我国实际的用户对云台需求的问题分析和解决提供了新的思路。基于智能识别的跟踪云台使用神经网络算法满足对多目标特征标识、多功能需求，通过识别数据库的调用优化反馈、数据特征分析和算法迭代优化为云台系统添加或扩展了新功能。
一、国、内外研究现状和发展动态
目前的互联网+、直播+、移动、电商、5G+等等，都是手持云台产业与关联产业融合发展的案例，这是让手持云台产业真正推动消费转型升级的重要抓手。这几大产业融合发展，将产生无数的手持云台产业的新模式、新业态。
从这些技术的发展，我们可以看到，国家开始真正落实和推动云台产业，国内外发展速度快，市场需求大，随着智能云台的创新带来的新的盈利点，能够建立起新云台产业发展盈利模式和发展模式。根据《2019年中国云台行业研究报告》显示，我国云台行业市场分析如图表1、2所示。
.png)
二、主要研究内容
.png)
1、应用基于 Python 的嵌入式机器视觉模块技术，实现摄像头与物体的智能识别，实现对物体信息的实时监控，和云台的控制，在此基础上研究其设计的可靠性和实用性。
2、利用舵机以及STM32 单片机板之间的串口通信集成控制，实现智能识别云台的自动化和智能化。
3、通过多种传感器实现不同模式、不同载体（如无人机）下的跟踪、识别、分析等多样化功能。
4、基于云台收集到的信息评估各类情况，从而实现更有效的人机交互。
三、硬件设计
智能识跟踪云台的硬件模块包括 STM32H7主控板、可拆卸摄像头OV7725 感光元件模组、舵机云台模组。STM32H7主控板主频480MHZ，是一种低成本高质量的主控板，通过2个I/O引脚控制舵机，从而实现二自由度云台的控制；由 OV7725 感光元件模组获取并处理2592×1944 (5MP)的图像信息，能够支持简单的识别算法并通过串口通信与STM32H7主控板传输图像信息，通过算法进行舵机PID调整，识别并保持被识别物体处于摄像头中心，实现识别跟踪功能。
本系统的核心是 STM32H743II ARM Cortex M7处理器，480 MHz主频，1MB RAM，2 MB flash。I/O 引脚输出为 3.3V 并且 5V 耐受。12Mbs的USB接口，能够流畅连接电脑。所有的I/O口（共10个）都可以用于，中断和PWM，其中2个 I/O 引脚用于舵机控制.
本系统采用 OV7725 感光元件模组采集并处理2592×1944 (5MP)的图像信息。在QVGA (320×240)及以下的分辨率时，大多数简单的算法可以支持运行(25～50)FPS。OV7725是基于 Python 的嵌入式机器视觉模块，成本低易拓展，且开发环境友好，有一个2.8mm焦距镜头在一个标准M12镜头底座上。除用于图像处理外，还可用 Python 调用其硬件资源，进行 I/O 控制。
二自由度舵机云台的特点是体量小，便携性强，能够被无人机简易加装配备。通过3d 打印技术，在云台底坐设计了限位孔方便在各种设备上固定，同时也方便更改底盘尺寸以适应各种应用需求。
云台实物图如图 3 所示。
.png)
四、程序设计
本系统程序设计分为 6 个部分，其设计流程如图 4。
.png)
4.1 图像采集分析
本云台图像识别中最主要的功能是人脸识别，其最基础任务是人脸检测。因为获取持续视频帧图像，处理耗时较长，故采取感光元件最低处理能力25 帧/秒的获取速度进行获取。必须首先捕捉疑似目标特征后，通过遍历数据识别库的列表blobs,进行分析比对。图像的预处理以及识别需借助待处理缓冲区，那么需要在运行处理之前进入到临界区范围内，在操作完成之后，脱离临界区，避免两线程同时运行相同内存，使软件性能有所提升。利用多线程可以达到图像获取分析同步进行的目的，极大程度提高了CPU 的利用率以及使用效率。
程序算法使用 Haar 级联分类器，相较于其他算法，通过灰度图以及特征模板提高了算法的检测速度以及识别精准度。使用基于 Haar 特征的级联分类器的目标检测是 Paul Viola 和 Michael Jones 2001 年 在 论 文《Rapid Object Detection using a Boosted Cascade of Simple Features》中提出的一种高效目标检测方法。这种机器学习方法基于大量正面、负面图像训练级联函数 ，然后用于检测其他图像中的对象。通过加载Haar算子进行算法支撑，保证了识别的准确性[1]。通过计算目标偏移量同STM32H743II进行串口通信。
4.2 多功能算法实现
云台系统主要通过帧差分算法、人脸/人形检测算法、图像分类分割模型来协同区分不同物体，从而实现诸如形状检测，人脸检测，特征标记追踪等功能。
Frame Differencing帧差分算法[2]
云台系统可以使用帧差分算法来查看场景中的运动情况。帧差分算法可以将系统用于运动追踪、防碰撞安全应用等。
Color Tracking颜色追踪
云台系统可以在图像中同时检测多达16种颜色（不超过4种颜色时算法成功率最高），并且每种颜色都可以有任意数量的不同的色块。算法会告诉您每个色块的位置，大小，中心和方向。使用颜色跟踪，可以进行二自由度舵机云台控制系统编程，以进行目标跟踪等等。
Face Detection人脸检测
云台系统可以对任何通用对象检测脸。云台系统通过处理Haar模板进行通用对象检测，并配有内置的Frontal Face 模板和Eye Haar模板来检测人脸和眼睛。
Person Detection人形检测[3]
云台系统可以使用内置的人检测器(TensorFlow Lite模型)检测视野中是否有人。
Video Recording视频录制
云台系统可以使用摄像模组记录RGB565/灰度的MJPEG视频或GIF图像（或者RAW视频）。云台系统可以在Python脚本中直接控制如何将每个视频帧记录，并完全控制视频录制的开始和结束。而且，像拍摄图像一样，您可以使用机器视觉的算法，进行绘制直线，绘制字符，然后保存。
TensorFlow Lite for Microcontrollers图像分类分割模型[4]
TensorFlow Lite支持使云台系统可以在摄像模组上运行自定义图像分类和分割模型。借助TensorFlow Lite，云台系统可以轻松分类画面中复杂的区域，并根据所看到的内容控制I/O引脚。
4.3 二自由度舵机云台控制系统
本云台中舵机控制由STM32H743I进行串口通信完成，通过计算目标偏移量，通过对目标像素位置进行分析预测，利用PID算法对舵机进行角度调整[5]，是整个云台做出姿态变更，以保持目标物体稳定在云台摄像头区域中心。
舵机通过脉宽调制（PWM）信号控制，输入脉冲频率为20ms。单个舵机的最大轴转角度为180°，二自由度舵机云台能保持摄像头进行单一方向上半球形区域的图像监测。
在软件算法上，通过对PID算法优化，依据P偏差比例、I积分两个参数进行调整计算，并将输出与变量更新放在中断算法中，有效的避免重复运算，提高了云台整体的识别追踪效率。
五、实验分析
针对基于智能识别的跟踪云台设计的合理性，进行实验验证分析
5.1实验参数
具体就识别准确度、追踪稳定性进行参数记录，人脸识别示意图5。
.png)
通过对灰度图以及直方图多重采样，利用RGB色彩空间确定图像特征数据并进行数据库比对，进一步得到准确的实验结果。
六、结语
文中提出以智能识别技术为基础的追踪云台系统，通过系统硬件与软件的结合，利用适宜的识别算法，针对云台跟踪进行研究。该系统与普通跟踪系统相比，具有多样的识别算法并进行实时跟踪的作用，同时打破了普通云台算法单一的局限性。具有人脸识别、摄像记录、监控等多种功能，应用面广泛，拓宽了目前市场上云台系统的可能性。本系统能够通过Frame Differencing帧差分算法预测运动趋势、实时显示图像，非常适合应用在智能交通器，监控监测领域中。系统设计精简、使用简便、成本低廉、可塑性强，能够满足用户的多样需求。同时，本系统体积小巧便于携带，工作效率高，能够对识别的图像进行数据分析及记录，一体多用化的设计更加符合现在市场前景。
参考文献：
[1]王庆伟,应自炉.一种基于Haar-Like T特征的人脸检测算法[J].模式识别与人工智能,2015,28(01):35-41.
[2]金守峰,林强强,高磊,张浩.帧间差分融合灰度投影的运动目标检测方法[J].现代电子技术,2019,42(06):114-117.
[3]何楠楠. 智能视觉监控中人形目标检测[D].北京邮电大学,2010.
基金项目：国家级大学生创新创业训练计划项目：《基于智能识别的跟踪云台》（202013634005）湖北省教育科学规划重点课题，课题编号2019GA066
新工科背景下高校新生工程认知及创新能力培养研究
指导教师：潘宁、房娟、龚鸣敏