国产极品粉嫩福利姬萌白酱_伊人WWW22综合色_久久精品a一国产成人免费网站_法国啄木乌AV片在线播放

Hadoop大數據解決方案培訓

【課程目標】
Hadoop作為開源的云計算平臺，為大數據處理提供了一整套解決方案，應用非常廣泛。Hadoop作為一個平臺框架，包括了如何存儲海量數據，如何處理海量數據，以及相應的數據庫、數據倉庫、數據流處理、數據分析和挖掘算法庫，等等。本課程主要介紹Hadoop的思想、原理，以及重要技術等相關知識。
通過本課程的學習，達到如下目的：
1、全面了解大數據處理技術的相關知識。
2、學習Hadoop的核心技術以及應用。
3、深入掌握Hadoop的相關工具在大數據中的使用。
4、掌握Hadoop的常用模塊的工作原理及開發應用技術。
5、掌握傳統數據中心向大數據中心轉換的關鍵技術。
6、掌握海量數據處理的性能優化及維護技巧。
【授課對象】網絡部、大數據系統開發部、大數據中心、網絡運維部等相關技術人員。
【授課方式】原理精講+案例(li)演練+開發(fa)實(shi)踐+系統優(you)化

【課程大綱】
第一部分：Hadoop的基本框架
1、大數據時代面臨的問題
2、當前解決大數據的技術方案
3、Hadoop架構和云計算
4、Hadoop簡史及安裝部署
5、Hadoop設計理(li)念和生態系統

第二部分：HDFS分布式文件系統：海量數據存儲的搖籃
1、HDFS的設計目標
2、HDFS的基本架構
1)NameNode名稱節點
2)SecondaryNameNode第二名稱節點
3)DataNode數據節點
3、HDFS的存儲模型
1)數據塊存儲
2)元數據存儲（空間鏡像與編輯日志）
3)多副本存儲
4、多副本放置策略
5、多數據節點管理機制與交互過程
6、文件系統操作與管理
1)讀文件過程
2)寫文件過程（數據流管道）
7、數據完整性機制
1)數據校驗和
2)數據完整性掃描線程
3)元數據備份與合并
8、數據可靠性設計
1)安全模式（數據塊與節點映射關系管理）
2)心跳檢測機制（節點失效管理）
3)租約機制（多線程并發控制）
9、其它
1)HDFS的安全機制
2)負載均衡
3)文件壓縮
10、操作接口與編程接口
1)HDFS Shell
2)HDFS Commands
3)WebHDFS REST API
4)HDFS Java API
① 演練：HDFS文件操作命令
② 演練：HDFS編程示例

第三部分：MapReduce分布式計算系統：海量數據處理的利器
1、MapReduce的三層設計理念
1)分布治之的設計思想（Map與Reduce）
2)數據處理引擎（編程模型）
3)運行時環境（任務調度與執行）
2、MapReduce的基本架構
1)JobTracker作業跟蹤器
2)TaskTracker任務跟蹤器
3)MapReduce與HDFS的部署關系
3、MapReduce編程模型概述
1)編程接口介紹
2)Hadoop工作流實現原理
4、MapReduce作業調度機制
1)MapReduce作業生命周期
2)作業調度策略
3)靜態資源管理方案
5、數據并行處理機制（五步驟）
1)Input階段實現
2)Map階段實現
3)Shuffle階段實現
4)Reduce階段實現
5)Output階段
6、MapReduce容錯機制
1)任務失敗與重新嘗試
2)節點失效與重調度
3)單點故障
7、MapReduce性能優化
1)優化方向與思路
2)磁盤IO性能優化
3)分片優化
4)線程數量優化
5)內存優化
6)壓縮優化
8、MapReduce操作接口
1)Job Shell
2)Web UI
案例演練：MapReduce編程示例
9、YARN：下一代通用資源管理系統
1)MRv1的局限性
2)YARN基本框架
3)NN HA：解決單點故障
4)HDFS Federation：解決擴展性問題

第四部分：Hbase非關系型數據庫：海量數據的黎明
1、Hbase的使用場景
2、Hbase的基本架構
1)Zookeeper分布式協調服務器
2)Master主控服務器
3)Region Server區域服務器
3、Hbase的數據模型
1)Hbase的表結構
2)行鍵、列鍵、時間戳
4、Hbase的存儲模型
1)基本單位Region
2)存儲格式HFile
5、數據分裂機制Split
6、數據合并機制Compaction
1)minor compaction
2)major compaction
7、HLog寫前日志
8、數據庫讀寫操作
1)數據庫寫入
2)數據庫讀取
3)三次尋址
9、Hbase操作接口
1)Native Java API
2)Hbase Shell
3)批量加載工具
4)HiveQL操作
10、Hbase性能優化
1)寫速度優化
2)讀速度優化
11、Hbase集群監控與管理
案例演(yan)練(lian)：Hbase命令操作(zuo)實例

第五部分：Hive分布式數據倉庫：高級的編程語言
1、Hive是什么
2、Hive與關系數據庫的區別
3、Hive系統架構
1)用戶接口層
2)元數據存儲層
3)驅動層
4、Hive常用服務
5、Hive元數據的三種部署模式
6、Hive的命名空間
7、Hive數據類型與存儲格式
1)數據類型
2)TextFile/SequenceFile/RCFile
8、Hive的數據模型
1)管理表
2)外部表
3)分區表
4)桶表
9、HQL語言命令實例
1)DDL數據定義語言
2)DML數據操作語言
3)QUERY數據查詢語言
10、Hive自定義函數
1)基本函數（UDF）
2)聚合函數（UDAF）
3)表生成函數（UDTF）
11、Hive性能優化
1)動態分區
2)壓縮
3)索引
4)JVM重用
案例(li)演(yan)練：Hive命令操作實例(li)

第六部分：Sqoop數據交互工具：Hadoop與傳統數據庫的橋梁
1、Sqoop是什么
2、Sqoop的架構和功能
1)Sqoop1架構
2)Sqoop2架構
3、數據雙向交換
1)數據導入過程
2)數據導出過程
4、數據導入工具與命令介紹
案例演練：Sqoop數據導入(ru)/導出實(shi)際操作

第七部分：Pig數據流處理引擎：數據腳本語言
1、Pig介紹
2、命令行交互工具Grunt
3、Pig數據類型
4、Pig Latin腳本語言介紹
1)基礎知識
2)輸入和輸出
3)關系操作
4)調用靜態Java函數
5、Pig Latin高級應用
6、開發與測試Pig Latin腳本
1)開發工具
2)任務狀態監控
3)調試技巧
7、腳本性能優化
8、用戶自定義函數UDF
案例演練：Pig Latin腳本編寫、測試與運行操作
結(jie)束：課程總結(jie)與(yu)問(wen)題答疑。

Hadoop大數據解決方案培訓