課程描述INTRODUCTION
海量數據處理優化
日程安排SCHEDULE
課程(cheng)大綱Syllabus
海量數據處理優化
課程介紹:
本課程注重(zhong)實(shi)戰(zhan),采用案例貫穿方式完(wan)成實(shi)踐,收集了大量的(de)真(zhen)實(shi)案例,針對海(hai)量數(shu)(shu)據(ju)進行深(shen)入(ru)研討。本次培(pei)訓從數(shu)(shu)據(ju)架構開始講解,通過(guo)大量的(de)真(zhen)實(shi)案例,涵蓋了數(shu)(shu)據(ju)架構,數(shu)(shu)據(ju)同步(bu),數(shu)(shu)據(ju)層敏捷(jie)開發等內(nei)容,詳細(xi)地介紹了海(hai)量數(shu)(shu)據(ju)的(de)處理和(he)優化的(de)前(qian)沿技術。
課程大綱:
第一部分 數據架構
一、數據拆分
1. 數據現狀
2. 連接數問題
3. 數據垂直拆分
4. 垂直拆分的問題和解決方案
5. 異構的讀寫分離
6. 數據水平拆分
7. 水平拆分的問題和解決方案
8. 一些案例分析
9. 拆分難題
二、多種存儲方案
1. 引入*SQL數據庫
2. 圖片服務器分離
3. 開源的分布式文件系統介紹和使用
4. 圖片處理和緩存
5. HDFS介紹
6. CDN介紹和詳解
第二部分 數據同步方案
一、并發的日志解析方案
1. 情景分析
2. 整體結構設計
3. 線程池處理
4. 代碼實現
二、實時數據傳輸平臺
1. 主要邏輯(發布數據,訂閱數據)
2. 實時數據傳輸平臺架構
3. 實時數據傳輸平臺結構分析
4. 代碼分享
三、Dbsync同步工具的使用
1、 Dbsync介紹
2、 架構解析
3、 使用詳解
四、 異構的數據庫/文件系統之間的高速交換工具
1、 開源工具介紹
2、 特點和結構模式
3、 使用和插件開發
第三部分 分布式緩存系統
一、Memcached
1. Memcached簡介
2. Memcached簡單用途
3. Memcached特點
4. Memcached優點和限制
5. Memcached Java客戶端
6. Memcached Java 客戶端優化
第四部分 Mysql性能優化、Oracle性能優化(可以根據實際情況選擇不同數據庫講解)
一、Mysql性能優化
1. Mysql性能優化引言
2. 數據庫設計和查詢優化
3. Schema Design
4. 標準化
5. 數據類型
6. 正確使用索引
7. 查詢緩存
8. 服務器端優化
9. 存儲引擎優化
10. 臨時表
11. 線程池
12. 引入非關系數據庫
13. 新技術
二、Oracle性能優化
1、常用SQL技巧
2、表的連接方式
3、有效的使用索引
4、Oracle的優化器與執行器
5、Oracle 11g中的執行計劃管理
6、Oracle 11g中的數據庫重演和SQL重演
7、Oracle的性能顧問
第五部分 數據層開發
一、數據服務平臺設計
1. 數據架構分析
2. 問題
3. 解決方案
4. 數據服務平臺特性
二、數據服務平臺實現
1. 模型數據映射實現
2. 統一查詢更新API
3. 性能優化策略
4. 熱點緩存平臺
5. 異步并行化機制
6. 并(bing)發控制,自我保(bao)護
海量數據處理優化
轉載://citymember.cn/gkk_detail/248123.html
已開(kai)課(ke)時間(jian)Have start time
IT相關內訓
- 軟件安全意識加強與技能提高 張(zhang)勝生
- Fine BI 數據分析與 張(zhang)曉如(ru)
- 電力信息化:價值和建設分析 劉宇佳
- 滲透測試與攻防實戰高級課程 張勝生
- 大模型技術與應用培訓 葉梓(zi)
- Python高效辦公自動化 張曉(xiao)如
- 云計算的應用領域和實踐 武威
- 信息安全風險評估與加固技能 張(zhang)勝(sheng)生
- 網安管理崗培訓 張勝(sheng)生
- 互聯網新技術在銀行的應用 武威
- CISSP認證培訓課程 張勝(sheng)生
- IT崗位數智化能力提升路徑 甄文智