4月17日,北京西普教育的工程师一行4人到我院为参加2018年浙江省高职高专院校技能大赛“大数据技术与应用”竞赛的学生开展为期2天的培训。

本次培训主要内容为Hadoop平台安装部署、数据抓取、数据清洗、整理、计算和表达、综合分析。分为两天培训,第一天主要是Hadoop平台环境部署与基本配置,了解基于大数据计算平台的常见应用。第二天,主要是综合利用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术,匹配和连接数据源,实现大数据的采集,提取、清洗、转换、分析、挖掘操作,产生分析结果,并且实现可视化呈现。
通过本次培训,对参加“大数据技术与应用”竞赛的学生帮助良多,提高了学生在数据采集、数据清洗、数据计算、数据分析、数据可视化等方面的关键技能和职业素养,以及对质量、效率、成本和规范的意识。

据了解,北京西普阳光教育科技股份有限公司(简称“西普教育”)成立于2002年,总部位于北京中关村。西普教育为中国IT教育解决方案提供商,以“科技改变教育”为公司理念,为高校、企业和政府提供包括网络空间安全、大数据、云计算、人工智能、物联网、移动互联等专业方向的教学、实验、科研及竞赛平台,服务内容包括高校实验实训室建设、在线教育、专业共建、师资培训、企业内训、认证与就业培训等多种形式。
