辽宁大连工业大学 邓露 陈强 肖洁 尹瑞辰 116304
摘要：信息时代的快速发展，使得数据呈现爆炸式增长，各行各业对于大量数据的处理分析需求页日益增长，以致于大数据人才需求量日渐增长。由于现有的大数据人才量并不能很好满足企业的需求，这在一定程度上抑制了大数据相关企业的发展。
数据的更新速度很快，学者们虽然对大数据的研究很多，但是对于大数据人才的研究却非常少，且研究方法较传统、且样本数据量小，很难发现大数据发展存在的深层次问题，所以不能精准提出培养建议和方案。本文应用大数据思维，使用Python语言爬取前程无忧网7万多条关于大数据岗位招聘信息，将数据标准化后进行数据分析与可视化，得出各城市对于大数据人才的需求量很大；在各个岗位中，运营和开发的需求是最多的；大数据岗位的薪资水平平均分布在1.2-3万每月之间；学历水平越高，工资报酬越高；工作城市和学历影响着薪资水平；不同规模的公司有着不同的用人需求的结论，据此详细分析了大数据人才招聘中需要掌握的整体技能和具体技能。最后，基于人才的发展和人才的培养等视角，分别从政府、企业、高校和大学生四个方面为我国大数据人才发展提出建议及方案。
关键词：大数据；人才需求；Python；数据分析
2018年，中国产生的数据量高达约7.6万亿GB，根据预测在2025年，这个数字将增加到2018年的6.4倍，中国的“数据圈”将会以每年30％的年均增长率成为全球第一。海量的数据包含着巨大的价值，数据挖掘的有效、合理运用将成为经济发展的主要动力。除了海量数据外，与数据相关的工作的需求也在不断增加。大数据的“喷井式”增长，使得大数据企业与日俱增，以致于大数据人才的需求量日渐增长。然而，现有的大数据人才数量并不能满足企业日益增长的需求，所以积极探寻精准的大数据人才的大规模培养方案非常有必要的，因此便有了本次研究[11][1.刘睿伦,叶文豪,高瑞卿,等.基于大数据岗位需求的文本聚类研究[J].数据分析与知识发现,2017,1(12):32-40.]。
根据现有人才市场对大数据人才的定义，大数据人才是具有数学，统计学，机器学习，数据分析，自然语言处理等知识，并具备大数据处理能力的复合型人才。本次研究以大数据人才为研究对象，运用的方法是基于Python的数据爬取和数据分析与可视化。以大数据人才招聘为数据源，降低数据获取成本，运用Python进行数据采集数据分析，大大降低时间时间成本、人工成本，使得研究过程更简洁，研究结果更具系统性。利用CiteSpace软件对我国有关大数据岗位的研究进行可视化分析，明确目标，使得研究结果具有针对性、特征性。
通过查阅资料得知，近几年来，关于大数据岗位的研究非常少，在CNKI数据库中，仅有42篇相关文献，且各个关键词之间连线较少，说明联系并不紧密，其中“大数据”这一关键词最早出现于2015年，说明大数据岗位的研究从2015年开始。“课程体系”这一关键词出现在2018年，并且与2019年和2020年没有连线，说明“课程体系”仅在2018年有研究。而“人才培养”、“培养模式”、“大数据技术”、“数据分析”均在2019年才有学者对此进行研究。因此，找到了大数据研究的缺口，就是对于大数据岗位的研究。本次研究用Python共计爬取数据1537页，并进行数据预处理，将重复的数据去掉，有效利用数据还剩三分之二。
将数据标准化后，利用引入的SEABORN库中的kdeplot函数进行密度估计曲线的绘制，最终得到工资分布对比图。由核密度估计曲线可知，一线城市的薪资范围是0-60k，广州大数据岗位的工资大多数在1万元左右，深圳和上海与广州比要稍多一点，大约在1.2万左右，而北京大数据岗位的工资大约在1.5万，同时，在3万-4万的位置也有“凸起”的部分。这说明北京对于大数据岗位的工资较高。进一步研究，运用corr函数相关系数构造工作地点、学历与工资之间的关系。将工作地点、城市和工资结合起来进行分析，可知，学历越高，工资越高，对于深圳，本科生工资平均为1.4万每月，而硕士生工资平均可以达到2.万每月。对于在校生和以大专为最低要求的企业，员工平均薪资水平均不超过1万元每月8万每月，是本科生的2倍。对于广州，本科生和硕士生的平均薪资水平是相同的，均为1.2万每月。
为将大数据人才岗位需求的研究定位得更加准确，因此通过大数据人才技能需求词云，我们得出，大数据人才整体技能排列较前得有：具有工作经验、大专或本科以上学历、合作精神、具有良好的沟通能力、具有学习能力、计算机相关专业、抗压能力等。通过结合细分的大数据岗位需求，可以明确了解到大数据企业对编程语言和数据库技能的需求：对于编程语言而言，Java、C/C++和Python占了80%以上的比例；对于环境系统而言，Linux操作系统是极其重要的。对于数据库而言，SQL的需求是最多的，并且有一半以上的需求都是SQL，接下来是Oracle、Redis、ETL等技能；与此同时，在技能与需求方面，英语水平和办公软件的使用也是进入大数据行业的重要因素。
我国大数据的快速发展，不仅仅让自身成为了国内产业支柱，更带动了其他行业的转型与省级，通过CiteSpace制作知识图谱进行分析，得到目前大数据的研究缺口。在此基础上，搜集国内外相关文献，梳理了研究的发展与理论现状，同时创新研究方法，抓取更权威更真实地大数据人才招聘信息。
结合此次理论研究与数据分析，为促进我国大数据人才的健康发展，我们提出以下建议：1.政府部门应鼓励更多高校增加更多大数据相关专业；提供更多相应的支持；创建大数据研究机构；引进企业上下游企业，打造生产链营造一个良好的大数据氛围。
2.企业应通过使用激励机制、提供全面的企业培训、与高校进行深入的合作，校企合作有助于校企双方更好的发展。
3.高校应增加更多大数据专业的发展方向、利用数据分析技术制定培养计划、根据市场需求与国外经验结合进行有针对性地培养人才、建立健全学科体系、建设权威的师资队伍、提供更多的实验环境与实习机会。
4.大学生自身应学好专业课扎实JAVA,C、Python统计学等课程、努力为自己创造更多的实习机会，要有针对性地增长自己地见识要深造自己。
在2017年的政府工作报告中，自从首次将“大数据“选入以来，这已连续5年成为中国政府关注的重点，大数据人才的紧缺成为了大数据发展方面的制约因素。希望本次研究的进行能够有助于国内大数据人才的健康发展，为大数据领域引入更多的投资，为国内各行各业的发展增添一份力。
参考文献：
1.刘睿伦,叶文豪,高瑞卿,等.基于大数据岗位需求的文本聚类研究[J].数据分析与知识发现,2017,1(12):32-40.
2. 史珍珍.我国岗位空缺持续时间及区域差异分析——基于网络大数据的研究[J].调研世界,2016(09):27-31.
3.李培．基于Python的网络爬虫与反爬虫技术研究[J]. 计算机与数字工程 ,2019,47(06):1415-1420+1496.
4.刘杰平．招聘网站招聘数据爬虫综合分析[J]．中国新信,2019,21(18):123-124.
5.朱思霖，郭丽清．基于前程无忧招聘信息的数据人才需求分析[J]．物联网技术,2019,9(08):112-116.
6.张俊峰,魏瑞斌．国内招聘类网站的数据类岗位人才需求特征挖掘[J].情报杂志,2018,37(06):176-182.
邓露 女2000.01.30吉林省白山市 大连工业大学（?信息管理与信息系统）
陈强 男1999.10.04四川省遂宁市 大连工业大学（大数据管理与应用）
肖洁 女1979.09.03吉林省白山市 大连工业大学
尹瑞辰 女2000.11.16河南省洛阳市 大连工业大学（信息管理与信息系统）