全部课程> Hadoop大数据管理员
Hadoop大数据管理员
- 60课时(建议每周学习12小时)
- linux、python、java
- 录播
-
会新星会员免费观看新9.9元体验新星会员周卡
已有2333人报名学习
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用， Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。本课程主要是介绍如何使用 CDH管理Hadoop及其组件
课程概览
Cloudera Manager 设计的目的是为了使得对于企业数据中心的管 理变得简单和直观。通过 Cloudera Manager，可以方便地部署， 并且集中式的操作完整的大数据软件栈。该应用软件会自动化安 装过程，从而减少了部署集群的时间。通过 Cloudera Manager
二、课程目标
在本课程中，您将学习：
● Hadoop核心技术的功能
● 如何Cloudera管理器简化Hadoop安装和管理
● 如何使用Cloudera管理器部署Hadoop集群
● 如何运行Yarn应用程序，包括如何使用sqoop和flume从外部来源填充HDFS
● 如何规划Hadoop集群的硬件和软件
● 在安装Hive和Impala
● 部署Hadoop客户端时应考虑哪些问题
● 如何配置HDFS以实现高可用性
● 在实现Hadoop安全性时应考虑哪些问题？
● 如何在集群上配置资源调度？
● 如何维护集群？
● 如何监视、故障排除和优化集群。
授课讲师
伍老师有10年的Java开发、大数据开发工作经验，精通Java、Scala、js、Python、sql等编程语言。熟练运用Java，运用各级框架的组合开发。并能熟悉基于Oracle、MySQL等多种数据库编程，有千万级的电信大数据处理经验；曾带领团队主导研发CRM大型项目。熟悉linux/unix平台；熟悉redis、solr、nginx、apache集群、负载均衡等等技术解决系统多并发的问题。精通Hadoop、hive、Spark等大数据组件，及华为大数据平台与数据挖掘知识体系。 项目经验： 1、广东电信营业厅效能评估子系统 2、广东电信渠道绩效业务支撑系统 3、某银行定期存款业务预测项目 4、某电商日志数据消费行为分析项目 5、AFC地铁售票机管理系统 6、广东移动销售绩效评估系统
课程大纲
- 第1章课程概述
-
第1节 Cloudera及其平台介绍 试听
-
第2节 CDH平台介绍 试听
- 第2章Hadoop介绍
-
第1节 Hadoop简介
- 第3章CDH平台介绍
-
第1节 安装CDH介绍
-
第2节 CDH环境及平台功能介绍
- 第4章HDFS介绍
-
第1节 HDFS特性
-
第2节 编写与读取文件
- 第5章MapReduceSpark on Yarn
-
第1节 Yarn资源分配器
-
第2节 MapReduce概念
-
第3节 Spark概念
-
第4节 Yarn概念+调度+日志
- 第6章配置文件与进程日志
-
第1节 配置文件与进程日志介绍
- 第7章数据采集
-
第1节 flume采集日志文件
-
第2节 sqoop采集关系型数据库数据
- 第8章Hadoop集群规划
-
第1节 选择正确的硬件
-
第2节 云部署
- 第9章Hadoop常用组件
-
第1节 Hive
-
第2节 Impala
- 第10章Hadoop客户端
-
第1节 Pig+cloudera shearch
-
第2节 客户端的安装与配置
-
第3节 客户端HUE的安装与配置
-
第4节 客户端Oozie工作流调度
- 第11章Hadoop集群高级配置
-
第1节 高级的配置
-
第2节 端口与机架感知
-
第3节 HA高可用
- 第12章Hadoop安全
-
第1节 数据安全介绍
- 第13章资源管理
-
第1节 静态的服务池+公平调度器
-
第2节 配置动态资源库
-
第3节 Yarn内存与CPU设置+Impala查询调度
- 第14章集群维护
-
第1节 检查HDFS状态与节点管理
-
第2节 目录快照与集群升级
- 第15章集群监控与故障处理
-
第1节 cloudera管理器的监控
-
第2节 监控Hadoop集群
-
第3节 故障排查与常见错误
实验列表
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
pdf
ClouderaManager运维_中文手册
大小：2.61MB
2022-07-27
-
pdf
cloudera CHD安装教程
大小：1.7MB
2022-07-27
-
pdf
Cloudera_Administrator培训教程
大小：7.14MB
2022-07-27
18503067430
3693827403
