課程介紹
從安裝及配置、負(fù)載均衡及調(diào)整,以及 診斷和解決部署問(wèn)題等各方面了解 Hadoop 系統(tǒng)管理員的概念和實(shí)踐;
面向需要建立或維護(hù) Hadoop 集群的管理員。培訓(xùn)對(duì)象要求具備 Linux 基本知識(shí),Hadoop相關(guān)知識(shí)不作要求。
認(rèn)證考試
CCA Administrator Exam (CCA131) 管理員認(rèn)證考試;
考試形式:120分鐘;70%通過(guò);基于一個(gè)預(yù)配置的Cloudera企業(yè)版集群,解決8~12個(gè)場(chǎng)景下的任務(wù)
培訓(xùn)收益
配置靜態(tài)路由、數(shù)據(jù)包篩選以及網(wǎng)絡(luò)地址轉(zhuǎn)換
Hadoop分布式文件系統(tǒng)和MapReduce工作原理
Hadoop集群硬件配置規(guī)劃
Hadoop集群網(wǎng)絡(luò)配置規(guī)劃
Hadoop集群配置及優(yōu)化
如何配置NameNode HA
任何配置NameNode Federation
任何配置FairScheduler為多用戶共享Hadoop集群
任何為Hadoop集群安裝和實(shí)現(xiàn)基于Kerberos的安全性
如何維護(hù)和監(jiān)測(cè)Hadoop集群
如何使用Flume加載動(dòng)態(tài)產(chǎn)生的文件以及使用Sqoop連接關(guān)系數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出
Hive、Pig和HBase等Hadoop生態(tài)系統(tǒng)工具相關(guān)的系統(tǒng)管理工作
課程大綱
模塊 |
內(nèi)容 |
Apache Hadoop 介紹 | ?Hadoop 動(dòng)機(jī)
? ?基本概念 ? ?Hadoop 核心部件 Hadoop 機(jī)群安裝 ? ?機(jī)群管理方案 ? ?Hadoop (CDH) 安裝 |
Hadoop 分布式文件系統(tǒng) (HDFS) | ?HDFS 特性
? ?讀寫(xiě)文件 ? ?NameNode 內(nèi)存考慮 ? ?HDFS 安全簡(jiǎn)介 ? ?HDFS Web UI |
YARN 上的 MapReduce 和 Spark | 計(jì)算平臺(tái)在 Hadoop 里扮演的角色
? ?YARN:機(jī)群資源管理器 ? ?MapReduce 概念 ? ?Apache Spark 概念 ? ?Yarn 上的計(jì)算平臺(tái) ? ?YARN Web UI 及 Shell ? ?YARN 應(yīng)用運(yùn)行日志 |
Hadoop 配置及服務(wù)運(yùn)行日志 | 定位配置參數(shù)及進(jìn)行配置變更
? ?管理角色實(shí)例及添加服務(wù) ? ?配置 HDFS 服務(wù) ? ?配置 Hadoop 服務(wù)運(yùn)行日志 ? ?配置 YARN 服務(wù) |
向 HDFS 導(dǎo)入數(shù)據(jù) | ?使用 Flume 從外部數(shù)據(jù)源實(shí)時(shí)導(dǎo)入數(shù)據(jù)
? ?使用 Sqoop 從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù) ? ?REST 接口 ? ?導(dǎo)入數(shù)據(jù)的最佳實(shí)踐 |
Hadoop 機(jī)群規(guī)劃 | 規(guī)劃考慮因素
? ?硬件選擇 ? ?虛擬化選項(xiàng) ? ?網(wǎng)絡(luò)因素 ? ?節(jié)點(diǎn)配置 |
Hive,Impala 及 Pig 的安裝及配置 | ?Hive
? ?Impala ? ?Pig Hadoop |
客戶端及 Hue | 什么是 Hadoop 客戶端
? ?安裝及配置 Hadoop 客戶端 ? ?安裝及配置 Hue ? ?使用 Hue 進(jìn)行身份驗(yàn)證及授權(quán) |
機(jī)群高級(jí)配置
|
高級(jí)配置參數(shù)
? ?Hadoop 端口配置 ? ?HDFS 機(jī)柜感知配置 ? ?HDFS 高可靠性配置 |
Hadoop 安全 | Hadoop 安全的重要性
? ?Hadoop 安全性概念 ? ?Kerberos 簡(jiǎn)介 ? ?使用 Kerberos 保護(hù) Hadoop 機(jī)群 ? ?其他安全特性 |
資源管理 | 使用靜態(tài)服務(wù)池配置 Linux cgroup
? ?公平調(diào)度器 ? ?配置動(dòng)態(tài)資源池 ? ?YARN 內(nèi)存及 CPU 設(shè)置 ? ?Impala 查詢調(diào)度 |
機(jī)群維護(hù),監(jiān)控及排錯(cuò) | ?檢查 HDFS 狀態(tài)
? ?機(jī)群間復(fù)制數(shù)據(jù) ? ?添加/移除機(jī)群節(jié)點(diǎn) ? ?機(jī)群數(shù)據(jù)負(fù)載平衡 ? ?目錄快照 ? ?機(jī)群升級(jí) ? ?Hadoop 機(jī)群排錯(cuò) ? ?常見(jiàn)配置不當(dāng)問(wèn)題 |