国产极品粉嫩福利姬萌白酱_伊人WWW22综合色_久久精品a一国产成人免费网站_法国啄木乌AV片在线播放

Python大數據核心技術實戰 培訓

一、課程學習目標
1.每個算法模塊按照“原理講解→分析數據→自己動手實現→特征與調參”的順序。
2.“Python數據清洗和特征提取”，提升學習深度、降低學習坡度。
3.增加網絡爬蟲的原理和編寫，從獲取數據開始，重視將實踐問題轉換成實際模型的能力，分享工作中的實際案例或Kaggle案例：廣告銷量分析、環境數據異常檢測和分析、數字圖像手寫體識別、Titanic乘客存活率預測、用戶-電影推薦、真實新聞組數據主題分析、中文分詞、股票數據特征分析等。
4.強化矩陣運算、概率論、數理統計的知識運用，掌握機器學習根本。
5.闡述機器學習原理，提供配套源碼和數據。
6.以直觀解釋，增強感性理解。
7.對比不同的特征選擇帶來的預測效果差異。
8.重視項目實踐，重視落地。思考不同算法之間的區別和聯系，提高在實際工作中選擇算法的能力。
9.涉及和講解的部分Python庫有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。

二、課程目標:本課程特點是從數學層面推導最經典的機器學習算法，以及每種算法的示例和代碼實現（Python）、如何做算法的參數調試、以實際應用案例分析各種算法的選擇等。
三、培訓對象
大數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)(fen)析(xi)(xi)(xi)應(ying)用開發工(gong)程(cheng)師(shi)(shi)、大數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)(fen)析(xi)(xi)(xi)項(xiang)(xiang)目(mu)的(de)規劃咨詢(xun)管理人(ren)員(yuan)、大數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)(fen)析(xi)(xi)(xi)項(xiang)(xiang)目(mu)的(de)IT項(xiang)(xiang)目(mu)高(gao)管人(ren)員(yuan)、大數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)(fen)析(xi)(xi)(xi)與挖掘處理算(suan)法應(ying)用工(gong)程(cheng)師(shi)(shi)、大數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)(fen)析(xi)(xi)(xi)集(ji)群運維工(gong)程(cheng)師(shi)(shi)、大數(shu)(shu)(shu)(shu)據(ju)(ju)分(fen)(fen)析(xi)(xi)(xi)項(xiang)(xiang)目(mu)的(de)售前(qian)和售后(hou)技術支持服務(wu)人(ren)員(yuan)

四、課程內容：
模塊一:機器學習的數學基礎1 - 數學分析
1.機器學習的一般方法和橫向比較 
2.數學是有用的：以SVD為例 
3.機器學習的角度看數學 
4.復習數學分析 
5.直觀解釋常數e 
6.導數/梯度 
7.隨機梯度下降 
8.Taylor展式的落地應用 
9.gini系數 
10.凸函數 
11.Jensen不等式 
12.組合數與信息熵的關系

模塊二:機器學習的數學基礎2 - 概率論與貝葉斯先驗
1.概率論基礎 
2.古典概型 
3.貝葉斯公式 
4.先驗分布/后驗分布/共軛分布 
5.常見概率分布 
6.泊松分布和指數分布的物理意義 
7.協方差(矩陣)和相關系數 
8.獨立和不相關 
9.大數定律和中心極限定理的實踐意義 
10.深刻理解*似然估計MLE和*后驗估計MAP 
11.過擬合的數(shu)學原(yuan)理與解決方案(an)

模塊三:機器學習的數學基礎3 - 矩陣和線性代數
1.線性代數在數學科學中的地位 
2.馬爾科夫模型 
3.矩陣乘法的直觀表達 
4.狀態轉移矩陣 
5.矩陣和向量組 
6.特征向量的思考和實踐計算 
7.QR分解 
8.對稱陣、正交陣、正定陣 
9.數據白化及其應用 
10.向量對向量求導 
11.標量對向量求導 
12.標量對矩陣求(qiu)導工(gong)作(zuo)機制

模塊四:Python基礎1 - Python及其數學庫
1.解釋器Python2.7與IDE：Anaconda/Pycharm 
2.Python基礎：列表/元組/字典/類/文件 
3.Taylor展式的代碼實現 
4.numpy/scipy/matplotlib/panda的介紹和典型使用 
5.多元高斯分布 
6.泊松分布、冪律分布 
7.典型圖像處理 
8.蝴蝶效應 
9.分形(xing)與可視化

模塊五:Python基礎2 - 機器學習庫
1.scikit-learn的介紹和典型使用 
2.損失函數的繪制 
3.多種數學曲線 
4.多項式擬合 
5.快速傅里葉變換FFT 
6.奇異值分解SVD 
7.Soble/Prewitt/Laplacian算子與卷積網絡 
8.卷積與(指數)移動平均線 
9.股(gu)票數據分析

模塊六:Python基礎3 - 數據清洗和特征選擇
1.實際生產問題中算法和特征的關系 
2.股票數據的特征提取和應用 
3.一致性檢驗 
4.缺失數據的處理 
5.環境數據異常檢測和分析 
6.模糊數據查詢和數據校正方法、算法、應用 
7.樸素貝葉斯用于鳶尾花數據 
8.GaussianNB/MultinomialNB/BernoulliNB 
9.樸素(su)貝葉(xie)斯(si)用于18000+篇/Sogou新聞文(wen)本的分(fen)類(lei)

模塊七:回歸
1.線性回歸 
2.Logistic/Softmax回歸 
3.廣義線性回歸 
4.L1/L2正則化 
5.Ridge與LASSO 
6.Elastic Net 
7.梯度下降算法：BGD與SGD 
8.特征(zheng)選(xuan)擇與過擬(ni)合(he)

模塊八:Logistic回歸 
1.Sigmoid函數的直觀解釋 
2.Softmax回歸的概念源頭 
3.Logistic/Softmax回歸 
4.*熵模型 
5.K-L散度 
6.損失函數 
7.Softmax回歸的實現與調參

模塊九:回歸實踐
1.機器學習sklearn庫介紹 
2.線性回歸代碼實現和調參 
3.Softmax回歸代碼實現和調參 
4.Ridge回歸/LASSO/Elastic Net 
5.Logistic/Softmax回歸 
6.廣告投入與銷售額回歸分析 
7.鳶尾花數據集的分類 
8.交叉驗證 
9.數據可視化

模塊十：決策樹和隨機森林
1.熵、聯合熵、條件熵、KL散度、互信息 
2.*似然估計與*熵模型 
3.ID3、C4.5、CART詳解 
4.決策樹的正則化 
5.預剪枝和后剪枝 
6.Bagging 
7.隨機森林 
8.不平衡數據集的處理 
9.利用隨機森林做特征選擇 
10.使用隨機森林計算樣本相似度 
11.數據異常值(zhi)檢測

模塊十一：隨機森林實踐
1.隨機森林與特征選擇 
2.決策樹應用于回歸 
3.多標記的決策樹回歸 
4.決策樹和隨機森林的可視化 
5.葡萄酒數據集的決策樹/隨機森林分類 
6.波士頓(dun)房價預(yu)測(ce)

模塊十二：提升
1.提升為什么有效 
2.梯度提升決策樹GBDT 
3.XGBoost算法詳解 
4.Adaboost算法 
5.加法模型與指數損失

模塊十三：提升實踐
1.Adaboost用于蘑菇數據分類 
2.Adaboost與隨機森林的比較 
3.XGBoost庫介紹 
4.Taylor展式與學習算法 
5.KAGGLE簡介 
6.泰坦尼克乘客存活率(lv)估計

模塊十四：SVM
1.線性可分支持向量機 
2.軟間隔的改進 
3.損失函數的理解 
4.核函數的原理和選擇 
5.SMO算法 
6.支(zhi)持(chi)向(xiang)量(liang)回歸SVR

模塊十五：SVM實踐
1.libSVM代碼庫介紹 
2.原始數據和特征提取 
3.葡萄酒數據分類 
4.數字圖像的手寫體識別 
5.SVR用于時間序列曲線預測 
6.SVM、Logistic回歸、隨(sui)機(ji)森林三者(zhe)的橫(heng)向(xiang)比較(jiao)

模塊十六：聚類（一）
1.各種相似度度量及其相互關系 
2.Jaccard相似度和準確率、召回率 
3.Pearson相關系數與余弦相似度 
4.K-means與K-Medoids及變種 
5.AP算法(Sci07)/LPA算法及其(qi)應(ying)用

模塊十七：聚類（二）
1.密度聚類DBSCAN/DensityPeak(Sci14) 
2.DensityPeak(Sci14) 
3.譜聚類SC 
4.聚類評價AMI/ARI/Silhouette 
5.LPA算法及其應(ying)用

模塊十八：聚類實踐
1.K-Means++算法原理和實現 
2.向量量化VQ及圖像近似 
3.并查集的實踐應用 
4.密度聚類的代碼實現 
5.譜聚類(lei)用于圖片分(fen)割(ge)

模塊十九：EM算法
1.*似然估計 
2.Jensen不等式 
3.樸素理解EM算法 
4.*推導EM算法 
5.EM算法的深入理解 
6.混合高斯分布 
7.主(zhu)題模型(xing)pLSA

模塊二十：EM算法實踐
1.多元高斯分布的EM實現 
2.分類結果的數據可視化 
3.EM與聚類的比較 
4.Dirichlet過程EM 
5.三維及等高線等圖件的繪制 
6.主題模(mo)型pLSA與EM算法

模塊二十一：主題模型LDA
1.貝葉斯學派的模型認識 
2.Beta分布與二項分布 
3.共軛先驗分布 
4.Dirichlet分布 
5.Laplace平滑 
6.Gibbs采樣詳(xiang)解

模塊二十二：LDA實踐
1.網絡爬蟲的原理和代碼實現 
2.停止詞和高頻詞 
3.動手自己實現LDA 
4.LDA開源包的使用和過程分析 
5.Metropolis-Hastings算法 
6.MCMC 
7.LDA與word2vec的比較 
8.TextRank算法與實踐(jian)

模塊二十三：隱馬爾科夫模型HMM
1.概率計算問題 
2.前向/后向算法 
3.HMM的參數學習 
4.Baum-Welch算法詳解 
5.Viterbi算法詳解 
6.隱馬爾科夫模型的應用優(you)劣比(bi)較

模塊二十四：HMM實踐
1.動手自己實現HMM用于中文分詞 
2.多個語言分詞開源包的使用和過程分析 
3.文件數據格式UFT-8、Unicode 
4.停止詞和標點符號對分詞的影響 
5.前向后向算法計算概率溢出的解決方案 
6.發現新詞和分詞效果分析 
7.高斯混合模型HMM 
8.GMM-HMM用于(yu)股(gu)票數據特征(zheng)提取

模塊二十五：課堂提問與互動討論

五、師資介紹
張老(lao)師：阿里大(da)(da)數(shu)據(ju)(ju)高(gao)級(ji)專(zhuan)家(jia)，國(guo)內資深的(de)(de)(de)Spark、Hadoop技(ji)術(shu)專(zhuan)家(jia)、虛擬化(hua)專(zhuan)家(jia)，對HDFS、MapReduce、Hbase、Hive、Mahout、Storm、spark和(he)openTSDB等(deng)Hadoop生(sheng)態系(xi)統(tong)中的(de)(de)(de)技(ji)術(shu)進行了多年的(de)(de)(de)深入的(de)(de)(de)研究，更主(zhu)要的(de)(de)(de)是這些(xie)技(ji)術(shu)在大(da)(da)量的(de)(de)(de)實(shi)際項目(mu)中得到廣泛的(de)(de)(de)應用(yong)，因此在Hadoop開發和(he)運(yun)(yun)維(wei)方面積累了豐富的(de)(de)(de)項目(mu)實(shi)施經驗。近(jin)年主(zhu)要典型的(de)(de)(de)項目(mu)有(you)：某(mou)電信(xin)(xin)集團網絡(luo)優化(hua)、中國(guo)移動某(mou)省移動公(gong)司請賬單(dan)系(xi)統(tong)和(he)某(mou)省移動詳單(dan)實(shi)時查詢(xun)系(xi)統(tong)、中國(guo)銀(yin)聯大(da)(da)數(shu)據(ju)(ju)數(shu)據(ju)(ju)票據(ju)(ju)詳單(dan)平臺(tai)、某(mou)大(da)(da)型銀(yin)行大(da)(da)數(shu)據(ju)(ju)記錄(lu)系(xi)統(tong)、某(mou)大(da)(da)型通信(xin)(xin)運(yun)(yun)營商全國(guo)用(yong)戶(hu)上網記錄(lu)、某(mou)省交通部門違(wei)章系(xi)統(tong)、某(mou)區域(yu)醫療大(da)(da)數(shu)據(ju)(ju)應用(yong)項目(mu)、互聯網公(gong)共(gong)數(shu)據(ju)(ju)大(da)(da)云(DAAS)和(he)構建游(you)戲云(Web Game Daas)平臺(tai)項目(mu)等(deng)。

六、頒發證書
參加相關培訓并通過考試的學員，可以獲得：
工業和信息化(hua)部(bu)頒發的-《Python大數據工程師證(zheng)(zheng)書》。該(gai)證(zheng)(zheng)書可(ke)作為專業技術(shu)人員(yuan)職(zhi)業能力考核的證(zheng)(zheng)明(ming)，以(yi)及專業技術(shu)人員(yuan)崗位聘用、任職(zhi)、定級(ji)和晉升職(zhi)務(wu)的重(zhong)要依(yi)據。注(zhu)：請(qing)學(xue)員(yuan)帶(dai)一寸彩照2張(zhang)（背面注(zhu)明(ming)姓名(ming)）、身(shen)份證(zheng)(zheng)復(fu)印件(jian)一張(zhang)。

Python大數據核心技術實戰 培訓