Hadoop管理员培训课程 - 大数据技术提升路径

课程概览
授课讲师
课程大纲
实验列表

课程概览
授课讲师
课程大纲
实验列表

Hadoop大数据管理员是一个关键角色，在大数据环境中负责维护、管理和优化Hadoop集群。Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用

课程概览

一、课程简介

Cloudera Manager 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过 Cloudera Manager，可以方便地部署，并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程，从而减少了部署集群的时间。通过 Cloudera Manager

可以提供一个集群范围内的节点实时运行状态视图。同时，还提供了一个中央控制台，可以用于配置集群。不仅如此， Cloudera Manager 通过包含一系列的报道和诊断工具，可以帮助您优化集群性能，并且提高利用率。 Cloudera Manager 能够为您提供以下的功能：

● 自动化 Hadoop 安装过程，大幅缩短部署时间；

● 提供实时的集群概况，例如节点、服务的运行状况；

● 提供了集中的中央控制台对集群的配置进行更改。

● 包含全面的报告和诊断工具，帮助优化性能和利用率。
二、课程目标
在本课程中，您将学习：

● Hadoop核心技术的功能

● 如何Cloudera管理器简化Hadoop安装和管理

● 如何使用Cloudera管理器部署Hadoop集群

● 如何运行Yarn应用程序，包括如何使用sqoop和flume从外部来源填充HDFS

● 如何规划Hadoop集群的硬件和软件

● 在安装Hive和Impala

● 部署Hadoop客户端时应考虑哪些问题

● 如何配置HDFS以实现高可用性

● 在实现Hadoop安全性时应考虑哪些问题？

● 如何在集群上配置资源调度？

● 如何维护集群？

● 如何监视、故障排除和优化集群。

通过IT培训订阅制的灵活学习模式，涵盖在线直播互动、面授课程深度解析及海量视频订阅资源，全方位助力您的技能提升。

授课讲师

方老师

技术经验： 4年专业后端开发经验，专注于构建高效、可维护的软件系统。擅长领域：后端系统架构设计数据库管理和优化 API开发与集成微服务架构实施教学风格：细致、风趣、充满激情，擅长激发学生的学习兴趣和参与热情。职业素养：强烈的责任心，致力于提供高质量的教学和指导，深受学生好评。专业认可：作为优秀讲师，在技术传授、教学方法和学生指导方面获得广泛认可。

课程大纲

第1章课程概述
第1节 Cloudera及其平台介绍

视频名称:01-cloudera及其平台介绍
第2节 CDH平台介绍

视频名称:02-第一章 CDH平台演示

第2章Hadoop介绍
第1节 Hadoop简介

第3章CDH平台介绍
第1节安装CDH介绍
第2节 CDH环境及平台功能介绍

第4章HDFS介绍
第1节 HDFS特性
第2节编写与读取文件

第5章MapReduceSpark on Yarn
第1节 Yarn资源分配器
第2节 MapReduce概念
第3节 Spark概念
第4节 Yarn概念+调度+日志

第6章配置文件与进程日志
第1节配置文件与进程日志介绍

第7章数据采集
第1节 flume采集日志文件
第2节 sqoop采集关系型数据库数据

第8章Hadoop集群规划
第1节选择正确的硬件
第2节云部署

第9章Hadoop常用组件
第1节 Hive
第2节 Impala

第10章Hadoop客户端
第1节 Pig+cloudera shearch
第2节客户端的安装与配置
第3节客户端HUE的安装与配置
第4节客户端Oozie工作流调度

第11章Hadoop集群高级配置
第1节高级的配置
第2节端口与机架感知
第3节 HA高可用

第12章Hadoop安全
第1节数据安全介绍

第13章资源管理
第1节静态的服务池+公平调度器
第2节配置动态资源库
第3节 Yarn内存与CPU设置+Impala查询调度

第14章集群维护
第1节检查HDFS状态与节点管理
第2节目录快照与集群升级

第15章集群监控与故障处理
第1节 cloudera管理器的监控
第2节监控Hadoop集群
第3节故障排查与常见错误

实验列表

节数	上课时间	星期一	星期二	星期三	星期四	星期五	星期六	星期天
第1节	08:00 - 08:40
第2节	09:00 - 09:40
第3节	10:00 - 10:40
第4节	11:00 - 11:40
第5节	14:00 - 14:40
第6节	15:00 - 15:40
第7节	16:00 - 16:40
第8节	17:00 - 17:40

天数	上课日期	上课时间	内容

Hadoop管理员培训课程 - 大数据技术提升路径

课程概览

授课讲师

课程大纲

实验列表

相关课件 更多

相关课程

相关课件更多