Hadoop大数据开发实战

课程大纲

• 第1章 初识Hadoop
•     第1节 大数据简介
•     第2节 大数据技术核心需求
•     第3节 Hadoop简介
•     第4节 离线数据分析流程介绍
•     第5节 大数据学习流程

• 第2章搭建Hadoop集群
•     第1节 安装准备
•     第2节 Linux基本命令
•     第3节 Hadoop集群搭建
•     第4节 Hadoop集群测试

• 第3章HDFS分布式文件系统
•     第1节 HDFS的简介
•     第2节 HDFS的架构和原理
•     第3节 HDFS的Shell命令
•     第4节 Java程序操作HDFS

• 第4章MapReduce分布式计算框架
•     第1节 认识MapReduce
•     第2节 MapReduce作业解析
•     第3节 MapReduce工作原理
•     第4节 Shuffle阶段

• 第5章Zookeeper分布式协调服务
•     第1节 认识Zookeeper
•     第2节 Zookeeper的安装和常用命令
•     第3节 Zookeeper客户端编程
•     第4节 Zookeeper典型应用场景

• 第6章Hadoop2.0新特性
•     第1节 Hadoop2.0新特性
•     第2节 Yarn资源管理框架
•     第3节 Hadoop的HA模式

• 第7章Hive
•     第1节 数据仓库简介
•     第2节 认识Hive
•     第3节 Hive安装
•     第4节 Hive数据类型
•     第5节 Hive数据库操作
•     第6节 Hive表
•     第7节 Hive表的查询
•     第8节 Hive函数
•     第9节 Hive 案例分析

• 第8章HBase分布式存储系统
•     第1节 认识HBase
•     第2节 HBase表设计
•     第3节 HBase安装
•     第4节 HBase Shell常用操作

• 第9章 Flume
•     第1节 认识Flume
•     第2节 Flume基本组件
•     第3节 Flume安装
•     第4节 Flume数据流模型
•     第5节 采集案例

• 第10章Sqoop
•     第1节 认识Sqoop
•     第2节 Sqoop安装
•     第3节 Sqoop命令
•     第4节 Sqoop数据导入
•     第5节 Sqoop数据导出
•     第6节 Sqoop job

实验列表

• 实验名称Linux基本命令
• 实验描述在本练习中，您将练习使用Linux的基本命令

• 实验名称HDFS基本命令
• 实验描述在本练习中，您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件

• 实验名称Java程序操作HDFS
• 实验描述在本练习中，您将练习使用Java程序操作HDFS

• 实验名称MapReduce执行单词统计
• 实验描述在本练习中，您将练习使用MapReduce执行单词统计。

• 实验名称Zookeeper基础命令
• 实验描述在本练习中，您将练习使用Zookeeper基础命令

• 实验名称Zookeeper客户端编程
• 实验描述在本练习中，您将练习使用idea操作zookeeper

• 实验名称Hive数据库操作
• 实验描述在本练习中，您将练习使用Hive操作数据库

• 实验名称Hive表操作
• 实验描述在本练习中，您将练习使用Hive操作Hive表

• 实验名称Hive表查询
• 实验描述在本练习中，您将练习使用Hive操作Hive表查询

• 实验名称Hive函数
• 实验描述在本练习中，您将练习使用Hive操作Hive函数

• 实验名称Hive案例
• 实验描述在本练习中，您将练习使用idea操作hive

• 实验名称Hbase的命令操作
• 实验描述在本练习中，您将练习使用Hbase命令行操作Hbase

• 实验名称Flume采集目录数据
• 实验描述在本练习中，您将练习使用Flume采集目录数据，数据保存到hdfs

• 实验名称Sqoop命令
• 实验描述在本练习中，您将练习使用Sqoop命令

• 实验名称Sqoop数据导入
• 实验描述在本练习中，您将练习使用选择mysql中数据库的表，导入相对应的hdfs的表中

• 实验名称Sqoop数据导出
• 实验描述在本练习中，您将练习使用Sqoop的hdfs数据导出 mysql

• 实验名称Sqoop Job操作
• 实验描述在本练习中，您将练习使用Sqoop Job