高职院校大数据专业岗位技能分析与课程体系建设的研究

ＤＯＩ:１０.１９３９２/ｊ.ｃｎｋｉ.１６７１￣７３４１.２０２００２０４４

科技风２０２０年１月

高职院校大数据专业

岗位技能分析与课程体系建设的研究

于　洋

辽宁省交通高等专科学校　辽宁沈阳　１１０１２２

摘　要:从传统ＩＴ的业务驱动到大数据ＤＴ时代的数据驱动ꎬ大数据得到了前所未有的发展ꎬ相应的人才需求也变得越来越迫切ꎮ本文从大数据人才需求出发ꎬ分析各岗位的技能要求ꎬ按照大数据的“采、存、用、管”全生命周期ꎬ构建高职院校大数据专业的课程体系ꎮ

关键词:高职院校大数据专业ꎻ岗位技能分析ꎻ课程体系１背景

随着大数据基础设施的不断完善ꎬ各类终端、各种系统和各种平台产生积累了海量的数据ꎮ对这些数据的采集、处理、分析和发掘的大数据应用发展迅猛ꎬ大数据浪潮正在全球席卷而来ꎮ我国在２０１４年报告中首次提到大数据ꎬ起步较晚ꎮ但在过去的几年中ꎬ大数据产业呈持续地高速增长态势ꎬ尤其是２０１８年ꎬ在建设“数字中国”的大趋势下ꎬ全国上下、由内到外、从到企业ꎬ正在打造建立和完善大数据全产业链生态系统ꎮ

截至２０１８年ꎬ麦肯锡大数据研究报告显示ꎬ大数据相关人才需求达２０１８才仅年４６７４００万之巨ꎮ我国人力资源专业机构数联寻英在万月发布ꎬ未来«３￣５大数据人才报告年内大数据人才缺口将高达»ꎬ报告显示我国大数据人１５０万ꎮ正是考虑到大数据人才市场的需求潜力ꎬ我国教育部在２０１６年增补了““大数据技术与应用”高等职业教育专业ꎮ本文针对高职周期大数据技术与应用ꎬ”专业人才岗位技能需求ꎬ按照大数据生命２构建高职大数据专业的课程体系大数据生命周期技术体系

ꎮ

大数据在维基百科中定义为利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集ꎮ它具有５Ｖ特点:Ｖｏｌｕｍｅ(大量)、Ｖｅｌｏｃｉｔｙ(高速)、Ｖａｒｉｅｔｙ(高速)、Ｖａｌｕｅ(低价值密度)、Ｖｅｒａｃｉｔｙ(真实性)ꎮ

大数据的全生命周期起始于数据源ꎬ经过数据获取、清洗、加工、转换等操作ꎬ进而进入到大数据分布式存储系统ꎬ然后采用分布式数据分析框架对数据进行抽取、分析、建模、挖掘和可视化操作挖掘的分布式系统架构Ｈａｄｏｏｐꎬ为数据驱动提供决策依据实现数据资源的变现是目前最为流行的大数据收集ꎮ

[１]ꎬ它包含以下常用组件、存储ꎬ、如下图所示计算、分析和ꎮ

３大数据岗位及相关技能

按照大数据生命周期的不同阶段ꎬ可以将大数据划分为以下几个岗位群:规划设计岗位群、数据处理岗位群、平台管理岗位群、分析挖掘岗位群、运营管理岗位群和大数据应用岗位群ꎮ通过对企业和用人单位的调研ꎬ以及高职院校对学生的培养定位ꎬ在以上岗位群中进行抽取ꎬ最终确定一下岗位群和岗位作为高职院校大数据专业人才培养对口的目标岗位３.[２]ꎮ

据中提取有价值的信息(１)１数据处理工程师数据处理岗位群

ꎻ:负责数据的全面处理工作负责数据的抽取和预处理ꎬꎬ从海量数协助数据５４

仓库工程师处理数据ꎮ该岗位所要掌握的专业技能有:数据库、爬虫技术、Ｌｉｎｕｘ、Ｊａｖａ/Ｐｙｔｈｏｎ、Ｈａｄｏｏｐ/Ｈｉｖｅ集群数据处理能力等ꎮ

ＥＴＬ(２)ＥＴＬ工程师:负责数据的采集Ｌｉｎｕｘ、Ｊａｖａ程序的设计、加工、清洗、转换ꎻ负责用开发工具等/Ｐｙｔｈｏｎ、、开发、优化和维护ꎮ该岗位要求熟悉数据库、集及分析(３)网络爬虫工程师ꎮ

大数据平台及各组件的应用、ＥＴＬ架构和常ꎻ负责分布式网络爬虫程序的设计开发:负责各大网站和网页数据的提取、优化和维护、采ꎮ该岗位需精通网页抓取原理及技术、精通正则表达式、从结构化和非结构化数据中提取信息３.２、Ｌｉｎｕｘ、Ｊａｖａ/Ｐｙｔｈｏｎ等ꎮ

责集群的管理和性能调优(１)大数据开发工程师平台管理岗位群

ꎮ:需具备负责大数据平台的设计:Ｌｉｎｕｘ、Ｊａｖａ/Ｐｙｔｈｏｎ、Ｈａｄｏｏｐ、开发ꎻ负生态组件、Ｓｔｒｏｍ流式数据处理框架、Ｓｐａｒｋ内存计算框架等ꎮ

据模型的设计(２)数据仓库工程师ＥＴＬꎻ负责数据的采集:负责数据仓库的需求调研、加工、清洗、转换ꎻ负责数仓、分析、数Ｊａｖａ知识/规则的设计、开发、优化和维护ꎮ需具备的能力有:Ｌｉｎｕｘ、、ＥＴＬＰｙｔｈｏｎ、数据仓库的分层架构、Ｈｉｖｅ/ＤＢ２/Ｔｅｒａｄａｔａ等原理３.可视化工程师３大数据应用岗位群

工具等ꎮ

:负责数据的视觉设计和可视化展示ꎻ负责可视化Ｅｃｈａｒｔｓ组件的开发ꎮ需要熟悉主流可视化工具Ｔａｂｌｅａｕ和技术ꎮ

等、理解数据库应用、精通ＨＴＭＬ５、ＣＳＳ、ＪＱｕｅｒｙ、ＪＳ等４高职院校大数据专业课程体系

基于以上各岗位职责和需要掌握的专业技能ꎬ将高职大数据专业课程体系分为理与应用(１)专业基础课、网络基础、Ｗｅｂ:Ｊａｖａ:专业基础课程序设计、专业核心课和综合实训课ꎮ

前端开发、Ｌｉｎｕｘ、操作系统、数据库原和开发工具(２)专业核心课、ＭＰＰ技术与应用:Ｈａｄｏｏｐ生态、数据仓库技术与应用、爬虫技术与应用大数据概论ꎮ

、ＥＴＬ、数据挖掘架构基础、实训(３)可视化工具应用ꎮ

综合实训课:ꎮ

网络爬虫综合实训、大数据开发综合５结论

本文从数据驱动下的人才需求出发ꎬ立足大数据岗位工作职责和岗位技能ꎬ从高职院校培养高素质技能型人才出发ꎬ确定大数据专业培养的目标岗位ꎻ并根据各个岗位技能ꎬ抽取、组建和成立高职大数据专业的主要课程ꎬ形成课程体系ꎻ最终ꎬ培养出合格的大数据专业技能人才ꎬ以满足大数据各相关岗位的需要ꎮ

参考文献[１]吕太之:

ꎬ毕家钦.基于Ｈａｄｏｏｐ平台的岗位分析和推荐系统的构建[２]陶硕[Ｊ].ꎬ河北软件职业技术学院学报刘俞.基于高职院校大数据技术应用专业人才培ꎬ２０１７ꎬ１２(４):１￣４.

养方案研究[Ｊ].河南科技学院学报ꎬ２０１７ꎬ１２(１２):５０￣５３.