課程描述INTRODUCTION
大數據Hadoop課程
日程安排SCHEDULE
課程大(da)綱Syllabus
大數據Hadoop課程
培訓對象
軟(ruan)件工程師(shi);數(shu)據庫開發(fa)(fa)人員;網絡后臺開發(fa)(fa)人員;運維人員;
課程簡介
hadoop天生是解決大數據高并發問題的, 是一個能夠對海量數據進行分布式處理的軟件框架。互聯網企業、金融機構、政府組織和云計算服務企業每天都會產生大量的數據并面臨高并發的嚴峻考驗,傳統的關系型數據庫已經無法滿足大數據量高并發的要求,作為云計算實現規范和實施標準的hadoop應運而生。
使用hadoop,用戶可以在不了解分布式底層細節的情況下開發出分布式程序,從而可以使用眾多廉價的計算設備的集群的威力來高速的運算和存儲,而且hadoop的運算和存儲是可靠的、高效的、可伸縮的,能夠使用普通的社區服務器出來PB級別的數據,是分布式大數據處理的存儲的理想選擇。
“云計算分布式大數據hadoop深入淺出案例驅動實戰”基于實務經驗萃取而成,從hadoop開發環境的搭建到到圖片服務器、WordCount實現、Hbase微博系統、話單查詢與統計、Hive數據統計案例,理論結合實際案例,祝你輕松駕馭hadoop以滿足大數據的分布式處理與存儲。
課程以MapReduce、Hbase、Hive為主軸,想理解和使用hadoop,就必須掌握這三(san)大核心。
課程特色
案例驅動教學,全程項目實戰訓練;
掌握Hadoop三大核心:MapReduce、Hbase、Hive
萃取出實際開發中最常用、最實用的內容并以深入淺出的方式把難點化于無形之中
基礎要求
了解Linux系統;
了解網絡;
了解Java;
課程大綱
第一天
第1個主題:Hadoop思考
1.Hadoop的設計目標和適用場景
2.Hadoop架構解析
3.MapReduce工作原理和案例說明
第2個主題: Hadoop安裝和配置實戰
1. 安裝和配置單機版Hadoop實戰
2. 安裝和配置偽分布式Hadoop實戰
3.安裝和配置分布式Hadoop集群實戰
第3個主題:HDFS
1. HDFS命令行操作實戰
2. HDFS的配置管理
3. NameNode的工作機制
第4個主題:HDFS案例實戰
1. HDFS案例的分析和設計
2. 環境搭建
3.使用Hadoop Java API實現對HDFS寫入、讀取、刪除文件等操作
第5個主題:MapReduce剖析
1. MapReduce的原理和運行過程
2. 構建MapReduce的開發環境
第6個主題:MapReduce案例實戰
1. 使用MapReduce的Java接口實現經典的WordCount
2. wordcount運行過程解析
3. MapReduce實現數據去重操作
4. MapReduce實現數據排序
5. MapReduce實現數(shu)據平(ping)均數(shu)據的計(ji)算
第二天
第1個主題:Hbase架構設計和實現剖析
1. Hbase架構設計
2. Hbase中的表結構等
3. Hbase:Master、Region、Region Server
第2個主題:Hbase案例實戰1---使用Hbase實現微博系統
1. 項目架構和設計
2. 開發環境搭建
3. 實現用戶登錄和注銷
4.“關注”功能的設計和實現
5.“發微博”功能的設計和實現
6.發布和運行整個基于Hbase的微博系統
第3個主題:Hbase與MapReduce
1. Hbase與MapReduce的關系
2. Hbase如何使用MapReduce
第4個主題:Hbase案例實戰2---話單查詢與統計
1. 項目架構設計
2. 開發環境搭建
3. 話單入庫和查詢的設計與實現
4.統計功(gong)能(neng)的設計與實(shi)現
第三天
第1個主題:MapReduce高級實戰
1. Split實現剖析
2. 自定義輸入的實現
3. Reduce的partition
4. 案例實戰
第2個主題:安裝和使用Hive
1. Hive剖析
2. 安裝Hive
3.Hive的基本使用
第3個主題:Hive與HDFS、MapReduce
1. Hive向HDFS存入結構化數據
2. 使用MySQL作為Hive的元數據庫
3.Hive與MapReduce
第4個主題:Hive案例實戰---數據統計
1. 項目架構設計
2. 表結構設計
3.數據的插入與統計實現
第5個主題:Hadoop開發者之路
1. Hadoop技能模型
2. Hadoop開發者*學習路線和方式
3.Hadoop開發者*成長路(lu)線
大數據Hadoop課程
轉載://citymember.cn/gkk_detail/257465.html
已(yi)開課時間Have start time
- 張曉誠
大數據營銷內訓
- 大數據項目解決方案及應用 胡國慶
- 《銀行--網絡消費行為與網 武建偉
- 能源電力企業數字化轉型探索 李(li)開東
- 《精細運營——京東/天貓平 武建偉
- 《大數據分析與客戶開發》 喻(yu)國慶(qing)
- 企業區塊鏈技術的應用場景與 李璐(lu)
- 大數據提升:用戶體驗提升與 武(wu)建偉
- 《流量神器,銷量升級:如何 武建(jian)偉
- 《大數據精益化營銷思維與運 喻國慶
- 數據驅動價值 ——基于Ex 張曉如
- 建材門店--微信獲客與運營 武建偉
- 數據創造價值——大數據分析 張曉如