ClouderaApacheHadoop培训及认证帮助您进阶大数据知识及技能。
Cloudera大学为期4天的Hadoop管理员培训将帮助学员综合理解并全面掌握通过ClouderaManager对Hadoop集群的运维管理,包括:安装,配置、负载平衡及性能调优等。通过该培训,Hadoop系统管理员将能准备好应对实际运维中遇到的挑战。
一.培训内容
●  通过讲师在课堂上的讲解,以及实操练习,学员将学习以下内容:
●  ClouderaManager管理集群的特性,诸如日志汇总、配置管理、资源管理、报告、报警及服务管理等。
●  YARN、MapReduce、Spark及HDFS的工作原理。
●  如何为你的集群选取合适的硬件和架构。
●  如何将Hadoop集群和企业已有的系统进行无缝集成。
●  如何使用Flume进行实时数据采集以及如何使用Sqoop在RDBMS和Hadoop集群之间进行数据导入导出。
●  如何配置公平调度器为Hadoop上的多用户提供服务级别保障。
●  产品环境中Hadoop集群的运维实践。
●  Hadoop集群排错、诊断问题和性能调优。
二.培训对象及学员基础
面向系统管理员和IT经理,需具备Linux经验,无需ApacheHadoop基础。
三.认证
结束本课程培训后,我们建议学员准备并注册参加CCAHadoop管理员考试。通过并获取该证书是向公司及客户证明个人在Hadoop领域的技术和专长的有力依据。
四.课程大纲
1.  ApacheHadoop介绍
●  Hadoop的创建动机
●  基本概念
●  Hadoop核心部件
2.  Hadoop集群安装
●  集群管理方案
●  ClouderaManager特性
●  Clouderamanager安装
●  Hadoop(CDH)安装
3.  Hadoop分布式文件系统(HDFS)
●  HDFS特性
●  读写文件
●  NameNode内存考虑
●  HDFS安全简介
●  HDFSWebUI
●  使用HDFSShell
4.  YARN上的MapReduce和Spark
●  计算平台在Hadoop里扮演的角色
●  YARN:集群资源管理器
●  MapReduce概念
●  ApacheSpark概念
●  Yarn上的计算平台
●  通过WebUI及Shell观察YARN应用
●  YARN应用运行日志
5.  Hadoop配置及服务运行日志
●  ClouderaManager配置管理机制
●  定位配置参数及进行配置变更
●  管理角色实例及添加服务
●  配置HDFS服务
●  配置Hadoop服务运行日志
●  配置YARN服务
6.  HDFS数据导入
●  使用Flume从外部数据源实时
●  导入数据
●  使用Sqoop从关系数据库导入数据
●  REST接口
●  导入数据的实践
7.  Hadoop集群规划
●  规划考虑因素
●  硬件选择
●  虚拟化选项*
●  网络因素
●  节点配置
8.  Hive,Impala及Pig安装及配置
●  Hive
●  Impala
●  Pig
9.  Hadoop客户端及Hue
●  什么是Hadoop客户端
●  安装及配置Hadoop客户端
●  安装及配置Hue
●  使用Hue进行身份验证及授权
10.  集群高级配置
●  高级配置参数
●  Hadoop端口配置
●  HDFS机柜感知配置
●  HDFS高可靠性配置
11.  Hadoop安全
●Hadoop安全的重要性
●  Hadoop安全性概念
●  Kerberos简介
●  使用Kerberos保护Hadoop集群
●  其他安全概念
12.  资源管理
●  使用静态服务池配置Linuxcgroup
●  公平调度器
●  配置动态资源池
●  YARN内存及CPU设置
●  Impala查询调度
13.  集群维护
●  检查HDFS状态
●  集群间复制数据
●  添加/移除集群节点
●  集群数据负载平衡
●  目录快照
●  集群升级
14.  集群监控及排错
●  ClouderaManager监控特性
●  监控Hadoop集群
●  Hadoop集群排错
●  常见配置不当问题
15.  结论
Cloudera大数据课程体系