登录

　　    ●  Hadoop集群排错、诊断问题和性能调优。

二．培训对象及学员基础

　　面向系统管理员和IT经理，需具备Linux经验，无需ApacheHadoop基础。

　　三．认证

　　结束本课程培训后，我们建议学员准备并注册参加CCAHadoop管理员考试。通过并获取该证书是向公司及客户证明个人在Hadoop领域的技术和专长的有力依据。

　　四．课程大纲

　　  1.  ApacheHadoop介绍

　　    ●  Hadoop的创建动机

　　    ●  基本概念

　　    ●  Hadoop核心部件

　　  2.  Hadoop集群安装

　　    ●  集群管理方案

　　    ●  ClouderaManager特性

　　    ●  Clouderamanager安装

　　    ●  Hadoop(CDH)安装

　　  3.  Hadoop分布式文件系统(HDFS)

 ●  HDFS特性

　　    ●  读写文件

　　    ●  NameNode内存考虑

　　    ●  HDFS安全简介

　　    ●  HDFSWebUI

　　    ●  使用HDFSShell

　　  4.  YARN上的MapReduce和Spark

　　    ●  计算平台在Hadoop里扮演的角色

　　    ●  YARN：集群资源管理器

　　    ●  MapReduce概念

　　    ●  ApacheSpark概念

　　    ●  Yarn上的计算平台

　　    ●  通过WebUI及Shell观察YARN应用

　　    ●  YARN应用运行日志

　　  5.  Hadoop配置及服务运行日志

　　    ●  ClouderaManager配置管理机制

　　    ●  定位配置参数及进行配置变更

　　    ●  管理角色实例及添加服务

　　    ●  配置HDFS服务

　　    ●  配置Hadoop服务运行日志

　　    ●  配置YARN服务

　　  6.  HDFS数据导入

　　    ●  使用Flume从外部数据源实时

　　    ●  导入数据

　　    ●  使用Sqoop从关系数据库导入数据

　　    ●  REST接口

　　    ●  导入数据的实践

　　  7.  Hadoop集群规划

　　    ●  规划考虑因素

　　    ●  硬件选择

　　    ●  虚拟化选项＊

　　    ●  网络因素

　　    ●  节点配置

　　  8.  Hive，Impala及Pig安装及配置

　　    ●  Hive

　　    ●  Impala

　　    ●  Pig

　　  9.  Hadoop客户端及Hue

　　    ●  什么是Hadoop客户端

　　    ●  安装及配置Hadoop客户端

　　    ●  安装及配置Hue

　　    ●  使用Hue进行身份验证及授权

　　10.  集群高级配置

　　    ●  高级配置参数

●  Hadoop端口配置

　　    ●  HDFS机柜感知配置

　　    ●  HDFS高可靠性配置

　　11.  Hadoop安全

　　    ●  Hadoop安全的重要性

　　    ●  Hadoop安全性概念

　　    ●  Kerberos简介

　　    ●  使用Kerberos保护Hadoop集群

　　    ●  其他安全概念

　　12.  资源管理

　　    ●  使用静态服务池配置Linuxcgroup

　　    ●  公平调度器

　　    ●  配置动态资源池

　　    ●  YARN内存及CPU设置

　　    ●  Impala查询调度

　　13.  集群维护

　　    ●  检查HDFS状态

　　    ●  集群间复制数据

　　    ●  添加/移除集群节点

　　    ●  集群数据负载平衡

　　    ●  目录快照

　　    ●  集群升级

　　14.  集群监控及排错

　　    ●  ClouderaManager监控特性

　　    ●  监控Hadoop集群

　　    ●  Hadoop集群排错

　　    ●  常见配置不当问题