課程描述INTRODUCTION
大數據與人工智能課程
日(ri)程(cheng)安排SCHEDULE
課(ke)程大綱Syllabus
大數據與人工智能課程
(一)統計分析、數據倉庫與可視化表達
1、 綜述(大數據、人工智能、數據挖掘、機器學習:這些詞的確切含義)
2、 假設檢驗:“小數據”時代是怎么玩的?
3、 “回歸”是數據挖掘算法嗎?
4、 度量、指標與維度
5、 星型模型與雪花模型
6、 下鉆與上卷
7、 數據倉庫的應用案例
8、 圖表該怎么畫才對?
(二)大數據相關技術綜述
1、 hadoop:HDFS、Map-Reduce、Hbase、Hive、sqoop、pig、oozie等
2、 spark:scala、spark-SQL、spark-Streaming等
3、 搜索引擎:lucene(solr)、ES
4、 并發的機(ji)器學(xue)習工(gong)具:R-hadoop、spark-MLLIB、 spark-R、pyspark
(三)存儲在hbase中的數據
1、 NoSQL(key-value)
2、 Hbase:安裝
3、 行鍵與列簇
4、 如何利用Hbase的特點存儲行業數據
5、 應用程序如何訪問Hbase中的數據
6、 數據遷移工具:sqoop
7、 Hbase的應用場景
(四)Hive:為SQL開發者留的活路
1、 Hive:安裝(單用戶與多用戶)
2、 Hive:基本操作
3、 Hive:與典型的關系型數據庫的區別
4、 存儲業務數據時的注意點
5、 如果“想慢”,你還可以這樣…(不恰當使用hive的案例介紹)
6、 Hive的應用(yong)場景
(五)Spark各組件的應用
1、 Hadoop*的特點是什么?
2、 Spark概述與安裝
3、 Scala:你可以一直“點”下去
4、 RDD:“映射”、“轉換”解決一切
5、 spark-SQL
6、 spark-streaming
7、 spark-graphX
8、 spark-MLLIB
9、 應用場(chang)景
(六)機器學習-1
1、 數據挖掘、知識發現與機器學習
2、 工具:(早期)SPSS、SAS;
3、 目前流行的工具R、Python等
4、 決策樹(熵、貪心法、連續的和離散的)
5、 聚類(k-means、k-medoid)
6、 監督學習、無監督學習的差異
7、 機器學習性能(neng)評(ping)價指(zhi)標(biao)
(七)機器學習-2
1、 KNN
2、 關聯規則(頻繁項集、Apriori、支持度、置信度、提升度)
3、 神經網絡(神經元、激勵函數、前饋神經網絡的BP算法)
4、 SVM(*間隔、核函(han)數、多分類(lei)的支持(chi)向(xiang)量機)
(八)機器學習-3
1、 “概率派”與“貝葉斯派”
2、 樸素貝葉斯模型(皮馬印第安人患糖尿病風險預測)
3、 極大似然估計與EM算法
4、 HMM(三個(ge)基本問題(ti):評(ping)估、解碼(ma)、學(xue)習)
(九)機器學習-4
1、 遺傳算法 (交叉、選擇、變異,“同宿舍”問題)
2、 無監督學習
3、 集成學習(adaboost、RF)
4、 強化學習(xi)
(十)深度學習-1
1、 連接主義的興衰
2、 地形要更陡:改進的目標函數
3、 0.9的100次方等于幾?克服梯度消散的方法(改進的激勵函數、BN)
4、 利用“慣性”下山:改進的優化算法(Adagrad、RMSprop、Adam)
5、 防止“大鍋飯”:dropout
6、 記(ji)憶的關鍵是“合理的忘記(ji)”:weight decay
(十一)深度學習-2
1、 讓AI理解圖像:典型CNN
2、 各種CNN
3、 讓AI理解語言:RNN與LSTM、GRU
4、 左右互搏術:GAN
5、 電子游戲的新(xin)玩法(fa):DQN
大數據與人工智能課程
轉載://citymember.cn/gkk_detail/257436.html
已開課時間Have start time
- 張曉誠
大數據營銷內訓
- 《銀行--網絡消費行為與網 武建偉
- 《大數據精益化營銷思維與運 喻國慶
- 企業區塊鏈技術的應用場景與 李璐
- 大數據提升:用戶體驗提升與 武建偉
- 建材門店--微信獲客與運營 武建偉
- 數據驅動價值 ——基于Ex 張曉(xiao)如
- 《大數據分析與客戶開發》 喻國慶(qing)
- 數據創造價值——大數據分析 張曉如
- 《精細運營——京東/天貓平 武(wu)建(jian)偉
- 《流量神器,銷量升級:如何 武(wu)建(jian)偉
- 能源電力企業數字化轉型探索 李(li)開(kai)東(dong)
- 大數據項目解決方案及應用 胡國慶