基于手势识别的人机交互系统研究

发表时间:2020/7/15   来源:《电力设备》2020年第7期   作者:宋奉霖 朱文洋 姚吉行 韦宏星
[导读] 摘要:进入21世纪以来,我国轨道交通事业发展迅速,列车舒适程度、行驶速度,安全系数都有了很大提高。
        (中车青岛四方机车车辆股份有限公司  青岛  266580)
        摘要:进入21世纪以来,我国轨道交通事业发展迅速,列车舒适程度、行驶速度,安全系数都有了很大提高。针对人工智能的发展情况,将机器视觉技术引入到新一代地铁车辆的娱乐系统设计中,实现可利用手势操作的人机交互系统,代替原来的触摸式操作。
        关键词:机器视觉;手势识别;新一代地铁
        0 前言
        针对新一代地铁车辆对车窗进行的改造设计,将车窗材质进行替换,变为可进行显示与触摸的新式车窗娱乐系统,为乘客的出行带来便利。但由于车窗材质容易损坏,人手触摸的交互方式不利于车窗屏幕的保护。基于此本文提出了一种利用手势操作的人机交互方式。
        目前机器视觉技术发展迅速,在工业生产、无人驾驶等各个领域都有应用,设计一种基于手势识别的非接触式人机交互系统已具备技术条件[1]。自2002年以手势交互技术逐渐受到产业界的重视,开发出许多原型系统,有明确的交互应用环境和丰富的交互应用,并逐步走向市场化阶段[2]。
        1  手势识别的人机交互系统介绍
        手势识别是通过数学算法来识别人的手势,用户可以使用简单的手势来控制或与设备交互,让计算机理解人类的行为 [3]。用户可以使用简单的手势来控制或与设备交互,而无需接触他们。本文利用机器视觉技术设计基于手势识别的人机交互系统模型如图1所示。图中手势识别区域为虚拟出来的范围,实际为利
 
        图1 基于手势识别的人机交互模型图
        用CCD相机可识别的手势范围区域,并且手势活动范围可映射到整个窗口区域。当相机识别出手势涵义后,窗口屏幕区域会出现相应的指示标志,可以控制相应软件的打开,活动区域的移动等,当手势识别区域中识别出现预先规定好的手势后,视觉识别系统通过分析并检测手势代表的含义,便可控制窗口区域相应的界面活动,这样就可以实现非接触式的人机交互手段。
        2  基于机器视觉手势识别系统分析
        2.1机器视觉手势识别系统介绍
        本文采用计算机视觉进行手势的描述、检测、跟踪、识别和交互动作设计[4]。利用这种方式的手势交互系统由手势描述、检测、跟踪、识别和多媒体交互六大模块组成。在利用现有成果的基础上当,本文的工作中包含手势的检测(手势定位)、手势跟踪、手势识别和相关交互功能等一系列的功能。各模块的设计是独立的计算机视觉任务,并有机地融合在完整系统中。同时作为实用化的交互系统,适应实时性需求,相关的算法要考虑其性能和效率的平衡。
 
        图2手势交互框图
        图2给出了本文设想的手势交互流程。在该图中手势检测是在实时视频中检测预定的开启手势出现的时间(帧)和对应的区域以启动交互流程;手势跟踪是在连续的实时视频中通过连续地标记手的位置以确定其轨迹[5];手势识别则是从图像帧的手势区域中识别语义信息,从而实现交互功能。各个模块之间需要信息流的传递,获取实时手势的特征,对手势进行动态的跟踪,实时手势特征与模板信息的对比,进而才能被机器识别理解,从而进行有效人机交互。
        2.2手势检测方法原理分析
        肤色是人体的特征,且在手势全局外观上分布较为一致,利用这一特征可以有效地对裸露的人体器官进行检测。肤色区域的颜色与亮度成非线性函数关系,将皮肤信息由RGB映射到YCrCb空间,为了使肤色聚类不受亮度Y的影响,并将YCbCr 颜色空间中的色度Cb、Cr进行非线性变换,变换过程中,将图像转化到YCbCr 空间并且在CbCr平面进行投影,投影后进行了相应的非线性变换K-L变换进而统计成椭圆模型。
        2.3 手势跟踪方法原理分析
        手势跟踪要求能够提供目标的位置信息,也提供与时间相关的目标空间轨迹。本文采用Camshift算法进行手势目标的跟踪。该算法利用目标的颜色直方图模型将图像转换为颜色概率的分布图,初始化一个搜索窗的大小和位置,并根据上一帧得到的结果自适应调整搜索窗口的位置和大小,从而定位出当前图像中目标的中心位置。总体分为三个部分:色彩投影图、meanshift算法以及camshift算法。
        2.4手势识别方法分析
        对手势进行检测与跟踪后,便需要对实时手势进行识别,将当前利用图像处理技术得到的图像与储存训练的模板图像进行匹配对比,获得机器识别的动作模式,进行人机交互操作。本文设计采用基于c-HOG特征的特征检测算法,该算法是利用表征图像局部梯度方向的梯度强度分布的描述符。在提取特征过程中,首先将输入的手势区域分为C(Cell)每块区域分布对采用梯度算子求出其梯度的水平和垂直方向的分量,其后进行极坐标变换,转换为梯度的强度和方向分量。通过对具备一定强度的梯度方向进行直方图得到局部的1D HOG描述子。这种描述使用与梯度强度相关的方向特征,可以强调手势目标的轮廓和指向。并且在投影过程中对较小强度的梯度加以抑制,可以有效地取出混杂背景的干扰。利用这种特征匹配得到手势与存储在计算机内的手势信息进行比对,就可以模拟鼠标操作,得到交互的信息。
        3 总结
        本文利用机器视觉技术,提出了对于新一代地铁车辆的非接触式人机交互系统的研究,利用手势操作代替原本的触摸式窗口的操作方式。由本文的分析可知,目前的机器视觉以及相应软件技术已经成熟,系统的可行性较高。可以针对此进行进一步的研究工作,为新一代地铁车辆的智能化发展奠定了基础。但是本文中也存在一定的不足,该系统没有进行大规模的模板匹配训练,因此对广大用户在使用过程中可能存在一定的错误率,在今后的研究中,应着重对这一当面进行改进。
        参考文献:
        [1] ACM SIGCHI Curricula for Human-Computer Interaction[EB/OL]. http://www.sigchi.org/.
        [2] Myers B. A brief history of human computer interaction technology. ACM interactions.
        [3] Baecker R. TIMELINES Themes in the early history of HCI---some unanswered questions.ACM interactions. 2008. 15(2)
        [4] James A, Sebe N. Multimodal Human Computer Interaction: A Survey. Computer Visionand Image Understanding journal. 2007. 108
        [5] Turk M. Computer vision in the interface. Communications of the ACM, 2004.
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: