大数据实训平台解决方案

大数据实训管理平台概述

基于Hadoop分布式计算机集群开发建立的大数据实训管理平台,能够为大数据教学及科研提供一个真实的、完整的、一体化的实验教学环境,从而打造出全方位的专业大数据实训室。该平台集学员实训学习与教师教学管理于一体,因此,对于学员和教师这两类不同的角色,可以通过不同的账号登陆,进入平台的相应界面。

学员登录实训平台后,可以选择相应的实验课程,并按照实验指南完成大数据处理与分析实操案例的教学实训,并提交实验报告。 教师登陆管理平台后,可以通过对班级与学员学习情况进行管理,统计各个班级总体学习进度、每门课程学习进度、查看学生实验报告并批阅评分等。

以下就分别对学生与教师这两类不同角色登陆平台后的界面操作进行说明。

大数据实训管理平台登陆链接如下:http://192.168.0.121:8081/TPF

学员登录

学员登录后的课程界面

学生登陆后可以看到如下图所示的“我的课程”界面。

大数据实训管理平台现在共有四门课程,分别为:

  1. 数据分析员
  2. 大数据分析师
  3. 大数据挖掘工程师
  4. 大数据系统工程

点击课程,进入实验列表界面

点击上述四门课程的任何一个,即可进入相应课程的实验列表界面。比如,点击“大数据分析师课程”,就可进入如下的实验列表。

点击“开始实验”按钮,即可进入对应实验的实训界面

由于不同类型实验的实训环境不同,以下分别就RStudio与WebTerm环境分别说明。

RStudio实训环境

该实训环境主要针对大数据统计分析与建模的相应实验,也就是通过R语言来完成相应的大数据统计分析实验。

比如,点击上述大数据分析师课程实验列表中的,“R语言实现多元线性回归模型案例”,即进入如下的实训平台界面。

说明:对R语言操作的实验,需要登陆Rstudio,登陆的用户名和密码与实训平台的用户名和密码一致。

输入实训平台的用户名和密码,登陆RStudio,登陆后的界面如下。

在该实训界面中,学员就可以按照左侧的实验指南,在RStudio的环境中,完成该多元线性回归模型实验的操作与练习。

WebTerm实训环境

该实训环境主要用于大数据挖掘工程师与大数据系统工程师相关的实验,可以在WebTerm环境下运行Linux系统及Hadoop大数据生态圈工具的相关命令。

比如,进入“大数据系统工程师”课程,点击课程实验列表中的,“Linux 基本命令操作实例”,即进入如下的实训平台界面。

说明:对Linux命令操作的实验,需要登陆WebTerm,登陆的用户名和密码与实训平台的用户名和密码一致。 输入实训平台的用户名和密码,登陆WebTerm,登陆后的界面如下。

在该实训界面中,学员就可以按照左侧的实验指南,在WebTerm的环境中,完成该实验的操作与练习。

下载实验资源

在RStudio或者WebTerm环境的实训页面中,如果该实验有附加的软件安装包或者数据文件等需要下载的资源,都可以点击“下载资源”按钮一键下载,下载的资源文件为压缩的ZIP文件。如下图所示。

提交实验报告

每一个实验演示操作完成后,都有一个实验作业,如下图所示。

学生可根据该实验所练习的内容,完成相应的实验作业,并点击“实验报告”按钮,就可进入如下的实验报告提交页面。在该页面中,可以“输入内容”、“上传图片”等。

查看实验报告

学生在完成实验练习并提交实验作业后,可以点击“我的实验报告”,查看已提交的实验报告列表,而且还可以对已提交的实验报告进行编辑。示意图如下所示。

教师登录

教师登录后的管理界面

教师登陆大数据实训管理平台后,可以看到上图的管理界面。教师账号主要有三方面的功能:

  1. 创建和管理班级
  2. 批阅学生提交的实验报告
  3. 集群监控

以下对这三方面的功能逐一进行介绍。

我的班级

创建班级

在“我的班级”页面,教师可以创建和编辑班级。

按照上述示意图操作,即可创建班级。创建班级后的效果如下图所示。

导入学员

在创建了班级后,可以对该班级的学员进行管理。

点击上图的“学员管理”按钮,即可进入如下的学员管理。对于新创建的班级,可以点击“下载学员模板”,根据模板导入该班级的学员。

课程管理

可以通过“课程管理”为该班级的学员分配相应的课程。

点击上图中的“课程管理”按钮,即进入课程分配页面,为该班级分配相应的实验课程。

批阅报告

点击“批阅报告”,可以筛选“专业”与“班级”,查看相应班级学生提交的实验报告,并进行批阅。

集群监控

点击“集群监控”,可以进入分布式计算机集群的监控页面,如下图所示。

在该页面中,可以分别查看Hadoop集群、Spark集群、Ganglia集群监控,以及,进程启动等监控信息。示意图如下。 Hadoop集群信息:

Spark集群信息:

Ganglia集群监控信息:

进程启动页面信息: