大数据离线分析项目实践

课程大纲

• 第1章 Linux基础知识
•     第1节 Linux安装 试听
  视频名称:第一节.Linux安装.wmv
•     第2节 Linux命令行 试听
  视频名称:第二节.Linux命令行.wmv
•     第3节 Linux VIM编辑器
•     第4节 Linux用户管理
•     第5节 Linux安装Java环境
•     第6节 Linux安装MariaDB环境

• 第2章 Hadoop集群搭建
•     第1节 Hadoop介绍
•     第2节 Hadoop读写流程
•     第3节 Hadoop的前期准备
•     第4节 Hadoop安装
•     第5节 Hadoop测试
•     第6节 HDFS的shell命令

• 第3章 Maven的概述
•     第1节 Maven介绍
•     第2节 JDK安装
•     第3节 Maven安装
•     第4节 Idea集成Maven环境
•     第5节 Maven POM项目描述
•     第6节 使用Java操作HDFS数据

• 第4章MapReduce分布式计算框架
•     第1节 认识MapReduce
•     第2节 MapReduce工作流程
•     第3节 MapReduce词频统计
•     第4节 MapReduce编程示例
•     第5节 Yarn资源管理器

• 第5章Scala语言基础
•     第1节 Scala介绍
•     第2节 Scala安装
•     第3节 Scala基本语法
•     第4节 Idea集成Scala环境
•     第5节 Scala学习步骤

• 第6章Spark大数据处理框架
•     第1节 Spark介绍
•     第2节 Spark安装
•     第3节 Spark RDD常用操作
•     第4节 Spark词频统计程序
•     第5节 Spark词频统计编程开发
•     第6节 Spark词频统计本地调试
•     第7节 Spark SQL概述
•     第8节 Spark DataFrames操作
•     第9节 Spark读写Mysql操作

• 第7章 PythonWeb框架
•     第1节 PythonWeb前端UI框架
•     第2节 PythonWeb-Flask框架
•     第3节 PythonWeb连接Mysql
•     第4节 饼图通过数据库返回数据
•     第5节 柱图通过后台返回数据

• 第8章综合案例
•     第1节 Spark分析天猫的订单数据
•     第2节 Spark项目工程构建指标
•     第3节 PythonWeb前端页面实现
•     第4节 PythonWeb应用开发
•     第5节 项目程序效果图

实验列表

• 实验名称Linux命令行
• 实验描述在本练习中，您将练习使用Linux的基本命令

• 实验名称Linux VIM编辑器
• 实验描述在本练习中，您将练习使用Linux VIM编辑器

• 实验名称Linux用户管理
• 实验描述本练习中，您将练习使用Linux用户管理

• 实验名称HDFS的shell命令
• 实验描述在本练习中，您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件

• 实验名称Java程序操作HDFS
• 实验描述在本练习中，您将练习使用Java程序操作HDFS

• 实验名称MapReduce词频统计
• 实验描述在本练习中，您将练习使用MapReduce执行单词统计。

• 实验名称MapReduce编程示例
• 实验描述在本练习中，您将练习使用MapReduce编程示例

• 实验名称Spark RDD常用操作
• 实验描述在本练习中，您将练习Spark RDD常用操作

• 实验名称Spark词频统计程序
• 实验描述在本练习中，您将练习Spark词频统计程序

• 实验名称Spark词频统计编程开发
• 实验描述在本练习中，您将练习使用Spark词频统计编程开发

• 实验名称 Spark读写Mysql操作
• 实验描述在本练习中，您将练习使用Spark读写Mysql操作

• 实验名称Spark项目工程构建指标
• 实验描述在本练习中，您将练习使用Spark项目工程构建指标

• 实验名称 Spark词频统计本地调试
• 实验描述在本练习中，您将练习使用Spark词频统计本地调试

• 实验名称 Spark DataFrames操作
• 实验描述在本练习中，您将练习使用 Spark DataFrames操作