DOI:10.19392/j.cnki.1671 ̄7341.202002044
科技风2020年1月
高职院校大数据专业
岗位技能分析与课程体系建设的研究
于 洋
辽宁省交通高等专科学校 辽宁沈阳 110122
摘 要:从传统IT的业务驱动到大数据DT时代的数据驱动ꎬ大数据得到了前所未有的发展ꎬ相应的人才需求也变得越来越迫切ꎮ本文从大数据人才需求出发ꎬ分析各岗位的技能要求ꎬ按照大数据的“采、存、用、管”全生命周期ꎬ构建高职院校大数据专业的课程体系ꎮ
关键词:高职院校大数据专业ꎻ岗位技能分析ꎻ课程体系1背景
随着大数据基础设施的不断完善ꎬ各类终端、各种系统和各种平台产生积累了海量的数据ꎮ对这些数据的采集、处理、分析和发掘的大数据应用发展迅猛ꎬ大数据浪潮正在全球席卷而来ꎮ我国在2014年报告中首次提到大数据ꎬ起步较晚ꎮ但在过去的几年中ꎬ大数据产业呈持续地高速增长态势ꎬ尤其是2018年ꎬ在建设“数字中国”的大趋势下ꎬ全国上下、由内到外、从到企业ꎬ正在打造建立和完善大数据全产业链生态系统ꎮ
截至2018年ꎬ麦肯锡大数据研究报告显示ꎬ大数据相关人才需求达2018才仅年467400万之巨ꎮ我国人力资源专业机构数联寻英在万月发布ꎬ未来«3 ̄5大数据人才报告年内大数据人才缺口将高达»ꎬ报告显示我国大数据人150万ꎮ正是考虑到大数据人才市场的需求潜力ꎬ我国教育部在2016年增补了““大数据技术与应用”高等职业教育专业ꎮ本文针对高职周期大数据技术与应用ꎬ”专业人才岗位技能需求ꎬ按照大数据生命2构建高职大数据专业的课程体系大数据生命周期技术体系
ꎮ
大数据在维基百科中定义为利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集ꎮ它具有5V特点:Volume(大量)、Velocity(高速)、Variety(高速)、Value(低价值密度)、Veracity(真实性)ꎮ
大数据的全生命周期起始于数据源ꎬ经过数据获取、清洗、加工、转换等操作ꎬ进而进入到大数据分布式存储系统ꎬ然后采用分布式数据分析框架对数据进行抽取、分析、建模、挖掘和可视化操作挖掘的分布式系统架构Hadoopꎬ为数据驱动提供决策依据实现数据资源的变现是目前最为流行的大数据收集ꎮ
[1]ꎬ它包含以下常用组件、存储ꎬ、如下图所示计算、分析和ꎮ
3大数据岗位及相关技能
按照大数据生命周期的不同阶段ꎬ可以将大数据划分为以下几个岗位群:规划设计岗位群、数据处理岗位群、平台管理岗位群、分析挖掘岗位群、运营管理岗位群和大数据应用岗位群ꎮ通过对企业和用人单位的调研ꎬ以及高职院校对学生的培养定位ꎬ在以上岗位群中进行抽取ꎬ最终确定一下岗位群和岗位作为高职院校大数据专业人才培养对口的目标岗位3.[2]ꎮ
据中提取有价值的信息(1)1数据处理工程师数据处理岗位群
ꎻ:负责数据的全面处理工作负责数据的抽取和预处理ꎬꎬ从海量数协助数据54
仓库工程师处理数据ꎮ该岗位所要掌握的专业技能有:数据库、爬虫技术、Linux、Java/Python、Hadoop/Hive集群数据处理能力等ꎮ
ETL(2)ETL工程师:负责数据的采集Linux、Java程序的设计、加工、清洗、转换ꎻ负责用开发工具等/Python、、开发、优化和维护ꎮ该岗位要求熟悉数据库、集及分析(3)网络爬虫工程师ꎮ
大数据平台及各组件的应用、ETL架构和常ꎻ负责分布式网络爬虫程序的设计开发:负责各大网站和网页数据的提取、优化和维护、采ꎮ该岗位需精通网页抓取原理及技术、精通正则表达式、从结构化和非结构化数据中提取信息3.2、Linux、Java/Python等ꎮ
责集群的管理和性能调优(1)大数据开发工程师平台管理岗位群
ꎮ:需具备负责大数据平台的设计:Linux、Java/Python、Hadoop、开发ꎻ负生态组件、Strom流式数据处理框架、Spark内存计算框架等ꎮ
据模型的设计(2)数据仓库工程师ETLꎻ负责数据的采集:负责数据仓库的需求调研、加工、清洗、转换ꎻ负责数仓、分析、数Java知识/规则的设计、开发、优化和维护ꎮ需具备的能力有:Linux、、ETLPython、数据仓库的分层架构、Hive/DB2/Teradata等原理3.可视化工程师3大数据应用岗位群
工具等ꎮ
:负责数据的视觉设计和可视化展示ꎻ负责可视化Echarts组件的开发ꎮ需要熟悉主流可视化工具Tableau和技术ꎮ
等、理解数据库应用、精通HTML5、CSS、JQuery、JS等4高职院校大数据专业课程体系
基于以上各岗位职责和需要掌握的专业技能ꎬ将高职大数据专业课程体系分为理与应用(1)专业基础课、网络基础、Web:Java:专业基础课程序设计、专业核心课和综合实训课ꎮ
前端开发、Linux、操作系统、数据库原和开发工具(2)专业核心课、MPP技术与应用:Hadoop生态、数据仓库技术与应用、爬虫技术与应用大数据概论ꎮ
、ETL、数据挖掘架构基础、实训(3)可视化工具应用ꎮ
综合实训课:ꎮ
网络爬虫综合实训、大数据开发综合5结论
本文从数据驱动下的人才需求出发ꎬ立足大数据岗位工作职责和岗位技能ꎬ从高职院校培养高素质技能型人才出发ꎬ确定大数据专业培养的目标岗位ꎻ并根据各个岗位技能ꎬ抽取、组建和成立高职大数据专业的主要课程ꎬ形成课程体系ꎻ最终ꎬ培养出合格的大数据专业技能人才ꎬ以满足大数据各相关岗位的需要ꎮ
参考文献[1]吕太之:
ꎬ毕家钦.基于Hadoop平台的岗位分析和推荐系统的构建[2]陶硕[J].ꎬ河北软件职业技术学院学报刘俞.基于高职院校大数据技术应用专业人才培ꎬ2017ꎬ12(4):1 ̄4.
养方案研究[J].河南科技学院学报ꎬ2017ꎬ12(12):50 ̄53.
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- huatuo3.com 版权所有 蜀ICP备2023022190号-1
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务