董迪
青岛港湾职业技术学院 山东 青岛 266404
摘要:当前随着互联网科技的高效发展,在现有的条件下利用通告网络数据内容展现海图产品的特点,已经成为保障航行安全的主要方式之一。结合现阶段国内外各种网站信息的实际特点状态,通过网络数据传输及多种网段爬虫技术的有效使用,基于数据库实现数据分析研究工作已经成为航海通告自动获取系统的主要实现方式。根据现有的技术手段通过航海通告自动获取系统的全面推进和各种方案措施的实现,我们能够通过针对性的研发多种专项应用管理系统的方式,有效地实现了多中心到数据的及时获取、数据信息的全面规划化整理、数据库的综合管理等多种全面性的功能,测试所展现的效果充分反映出,相较于传统的工艺方式手段,这种新型的技术能够增进航海相关数据的精准性,有效性,为后期的各项航海任务推进奠定坚实的基础。
关键词:航海通告自动获取系统;设计;实现
航海通告自动获取系统的实现,主要是通过对当前海面区域内的多种航标、悬浮危险物、港湾以及多种界限状态等及时通过数据化的信息进行呈现。他不仅仅是当前海图的生产管理和使用工作的主要保障,同时也是确保各种航行安全实施的重要依据。随着互联网技术的全面发展,在当前的社会发展基础上,传统的纸质航海图已经不能满足实际的社会发展需求,传统的航海图也逐渐以信息化的模式进行呈现。为了适应新的工作特点和工作模式,在当前的工作形势下,我们更要基于数字化的海图结构模式,针对性地进行航海通告自动获取系统的构建和分析,通过数据库的建立将所有的数据信息进行整合,同时有效地应用在航海通告自动获取系统之中。
一、总体方案的设计结构要求
为了有效地实现多种数据信息的实时共享,增进数据信息化的整理、存储和全面的分析,统筹通告数据的全面协调,就要在原有的基础上针对实际的系统结构类型,设计出通道的爬取管理模块,数据的规划整理模块以及数据库的综合管理模块。
通告爬取模块的构建主要是利用现有的网络信息条件构建起舒适的种子库,通过多种搜索方式和多种网页分析的管理模式,对当前网页中所呈现的多种数据信息进行集中的筛选、抓取和解析的过程,再通过现有的数据条件,将已经存在的通告摘要信息和数据信息内容存入到既定的数据库之中,同时以数据文档的方式进行存储和集中的整理。
数据整理模块的产生主要是因为在原始的工作环境中,因为航海系统本身的存储管理条件有限,在既定的存储空间中,不能实现及时的管理和系统的分析,这就导致多种混乱问题的产生,很多无效访问的问题严重制约着数据信息的规划处理。而在现有的条件下以航海通告基础信息模块为架构,建立起数据整理模块,对已经出现的数据信息进行规整的处理和优化,以明确的格式实现数据信息的集中管理。
数据库管理模块的建立,是按照当前航海通告数字化的生产需求与海图一体化的生产结构体系之间全部对接的工作基础要求和格式要求,在现有的条件下,根据实际的需求实施合理的设计,针对性地制定出符合要求的数据块整理结构,确保所有设施的集中使用和随时调取。
二、航海通告自动获取系统的设计实施
1、建立通告爬取模块
网络爬虫主要是通过自动爬取网页的实施将当前网页的内容提取并及时地展示在当前的网页之中的一项具体的程序信息。在大数据时代的发展基础上,通过这种爬虫技术能够有效地获得大量优质的网络信息资源,通过数据及时获取的方式实现需求数据的实时更新。
为了在现有的条件下建立起通告爬取模块,首先要通过预处理的方式,将当前的网页信息进行集中的分析和管理,通过连接抽取和内容分析的方式,对所有的编码进行全面的手机,也正是因为网络爬虫本身是一个数据收集的模块,其所获取的数据信息往往都会较为纷杂。继而就需要在网页分析实施之前将所有的网页数据进行预期处理,这样有效地解决人为操作可能出现的多种失误问题。
2、建立数据整理模块
在这个模块的简历中主要使用正则匹配的方式、截取片段的方式以及文字替换的方式这三种有效的数据整理工具实现全面的数据管理工作。通过这些数据工具的使用,能够在有限的条件下让数据处理的工作更加的智能化和自动化,极大程度地减少了工作的压力和难度。正则匹配主要是以正则表达式的方式将字符进行集中的逻辑公式调整,通过建立起较为复杂的逻辑性结构,将所有的匹配工具都能应用在通告文档之中。截取片段主要是依据截取的练结合通告内容中的一些较为全面的数据信息内容,在航海通告中将数据的信息进行呈现和分析。文字替换主要是针对不同格式下应该要实时解析的数据信息进行系统的整理,让其能够以一种较为统一的模板方式进行实现推广和应用。
3、数据库整理模块的建立
这项功能的建立主要是为了实现一体化的生产体系,在航海通告自动获取系统中是最为重要的一环,一般情况下,所有网络信道中传输的数据信息都会通过爬取模块进行集中的收集,通过数据整理模块进行全面的梳理,然后在数据库的信息网络中进行分布和实施,为此在实现数据库整理模块的建立过程中,主要是在整个航海通告的网站上,建立起一套单独的数据信息网络渠道,以专项模块的方式对所有的数据进行存储,既要保证不会受到多种外部网络的干预也要保证所有的数据信息单独存在,不会受到网络信息抓取的故障而产生数据信息遗失的问题。
三、航海通告自动获取系统的应用实现
航海通告自动获取系统的建立健全是为了有效地提升航海的质量。因此在实现航海通告自动获取系统构建的基础上,首先要在网站上建立起明确的种子库,通过多种爬虫抓取任务要求的设定,在抓取任务实施之前,通过任务管理器对抓取开展哪的时间和目标网站信息进行明确,同时确定抓取周期。在抓取周期中,要确保抓取的质量和数量,同时也要保证整个通告数据能够以实时更新的特点进行实现。网络服务器工作中都要建立起相对合理的作业设置,从而保证测试的结果符合实际的要求。航海通告自动获取系统的主要工作就是为了两种不同的数据信息内容的获取,一种是能够直接下载存储到数据库中的信息,一种是以文档信息为主的信息结构内容。在航海通告自动获取系统的系统管理界面之中,主要将所抓取的数据信息结构、编号方式以及航海通告的实际名称以及多种时间限制等基础信息都以系统展示的方式进行呈现。
在实际的作业中,航海通告自动获取系统信息数据的抓取以及获取时间都是要严格遵循机顶要求的,为了有效地保证整个航海通告自动获取系统能够全面的提升,我们在现有的条件下,将人工数据抓取分析和航海通告自动获取系统信息数据抓取分析进行了明确的对比,通过应用实践研究可得,在同样的条件下,航海通告自动获取系统的工作质量明显高于传统的工作方式,数据信息的获取质量和筛查能力都相对较高。
总结:通过全面的检测和系统的分析,通过航海通告自动获取系统全面实施多种网络应用技术的综合管理,能够严格地实现各项编码的全面转换和系统的入库解析工作。在实施工作的前提下,一方面能够有效的确保所有数据信息的精准性和全面性,另一方面也哼加快多种数据质量信息的提升,增进工作的使用效率,促进各项数据反馈效率的全面增强。也能够在现有的工作基础上,通过海图的电子一体化建立,实现实时精准的数据源支撑。今后通过多种信息化技术的全面挖掘分析和探索,通过智能化的管理方式的判断和分析,能够有效地挖掘当前我国航海工作开展中存在的多种问题,加快多种问题导向分析,实现航海技术的高质量发展。
参考文献
[1]王斌,唐岩,王伟,等.海图与航海通告一体化生产技术研究[J].海洋测绘,2016,(4).56-59
[2]于娟,刘强.主题网络爬虫研究综述[J].计算机工程与科学,2015,(2).231-237.