課程(cheng)描述INTRODUCTION
大數據模型與數據挖掘應用培訓
日程安(an)排(pai)SCHEDULE
課(ke)程大綱(gang)Syllabus
【課程目標】
本數據分析與挖掘系列課程包括三個等級的課程:
1.基礎課程,專注于經營數據的統計與數據分析,適合于一般業務部門要求的數據統計與分析,內容系統且全面,由淺入深,使用工具為Excel 2010版本以上。
2.中級課程,專注于行業數據分析與數據挖掘,適合于數據分析部、業務支撐部等對數據分析與挖掘要求較高的部門,使用專業數據分析與挖掘工具SPSS v19版本以上。
3.高級課程,專注于較深入的數據挖掘技術,包括挖掘模型原理介紹,數據建模,挖掘算法,適合于大數據系統開發及數據分析專業人士,需要有一定的數學基礎(統計與概率),使用數據流挖掘工具Modeler 14.1版本以上。
本課程為高級課程,面向數據分析部等專門負責數據分析與挖掘的人士。
本課程培訓覆蓋以下內容:
1.數據挖掘標準流程。
2.數據挖掘探索性分析。
3.數據挖掘模型原理。
本課程從實際的電信運營商的業務需求出發,對數據分析及數據挖掘技術進行了全面的介紹,通過大量的操作演練,幫助學員掌握數據分析和數據挖掘的思路、方法、工具,從大量的企業經營數據中進行分析,發現業務運作規律,進行客戶洞察,挖掘客戶行為特點,消費行為,實現精準營銷,幫助運營團隊深入理解業務運作,以達到提升學員的數據綜合分析能力,支撐運營決策的目的。
通過本課程的學習,達到如下目的:
1.掌握數據挖掘的基本過程和步驟。
2.掌握數據挖掘的預處理方法,探索數據間的相關性,為建模打下基礎。
3.理解數據挖掘的常見模型,原理及適用場景。
4.熟練掌握Modeler基本操作,能利用Modeler進行數據挖掘。
【授課時間】
2天時間
【授課對象】
業務支撐、網絡中心、IT系統部、數據分析部等對業務數據分析有較高要求的相關專業人員。
【學員要求】
1.每個學員自備一臺便攜機(必須)。
2.便攜機中事先安裝好SPSS modeler v14.1版本以上軟件。
注:講師可以提供試用版本軟件及分析數據源。
【授課方式】
基礎知識精講 + 案例演練 + 實際業務問題分析 + SPSS實際操作
本(ben)課程突出數據挖掘的(de)(de)實際應用,結(jie)合行業的(de)(de)典型(xing)應用特點,從實際問題入手,引(yin)出相(xiang)關(guan)知識(shi),進行大數據的(de)(de)收集與(yu)處理(li);探索數據之間的(de)(de)規律及關(guan)聯性(xing),幫助學員(yuan)掌握(wo)系(xi)統的(de)(de)數據預處理(li)方法;介紹常用的(de)(de)模型(xing),訓練模型(xing),并優化模型(xing),以達到最優分析結(jie)果。
【課程大綱】
第一部分: 數據挖掘標準流程
1.數據挖掘概述
2.數據挖掘的標準流程(CRISP-DM)
.商業理解
.數據準備
.數據理解
.模型建立
.模型評估
.模型應用
案例:通信客戶流失分析及預警模型
3.數據建模示例
案例:宜家IKE如何通過數據挖掘來降低營銷成本提升利潤?
第二部分: 數據預處理過程
1.數據挖掘處理的一般過程
.數據源à數據理解à數據準備à探索分析à數據建模à模型評估
2.數據讀入
.讀入文本文件
.讀入Excel電子表格
.讀入SPSS格式文件
.讀入數據庫數據
3.數據集成
.變量合并(增加變量)
.數據追加(添加記錄)
4.數據理解
.取值范圍限定
.重復數據處理
.缺失值處理
.無效值處理
.離群點和極端值的修正
.數據質量評估
5.數據準備:數據處理
.數據篩選:數據抽樣/選擇(減少樣本數量)
.數據精簡:數據分段/離散化(減少變量的取值)
.數據平衡:正反樣本比例均衡
.其它:排序、分類匯總
6.數據準備:變量處理
.變量變換:原變量值更新
.變量派生:生成新的變量
.變量精簡:降維,減少變量個數
7.基本分析
.單變量:數據基本描述分析
.雙變量:相關性分析
.變量精簡:特征選擇、因子分析
8.特征選擇
.特征選擇方法:選擇重要變量,剔除不重要的變量
.從變量本身考慮
.從輸入變量與目標變量的相關性考慮
9.因子分析(主成分分析)
.因子分析的原理
.因子個數如何選擇
.如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
第三部分: 因素影響分析(特征重要性分析)
問題:如何判斷一個因素對另一個因素有影響?
比如營銷費用是否會影響銷售額?產品價格是否會影響銷量?產品的陳列位置是否會影響銷量?
1.常用特征重要性分析的方法
.特征選擇(減少變量個數):相關分析、方差分析、卡方檢驗
.因子分析(減少變量個數):主成分分析
.確定變量個數參考表
2.相關分析(數值+數值,相關程度計算)
問題:這兩個屬性是否會相互影響?影響程度大嗎?
.相關分析概述
.相關系數計算公式
.相關性假設檢驗
案例:通信基本費用與開通月數的相關分析
3.方差分析(分類+數值,影響因素分析)
問題:哪些才是影響銷量的關鍵因素?
.方差分析原理
.方差分析的步驟
.方差分析適用場景
案例:開通月數對客戶流失的影響分析
4.列聯分析(分類+分類,影響因素分析)
.列聯表的原理
.卡方檢驗的步驟
.列聯表分析的適用場景
案例:套餐類型對對客戶流失的影響分析
第四部分: 數值預測模型篇
問題:如何預測產品的銷量/銷售金額?如果產品跟隨季節性變動,該如何預測?新產品上市,如果評估銷量上限及銷售增速?
1.銷量預測與市場預測——讓你看得更遠
2.回歸預測/回歸分析
問題:如何預測未來的銷售量(定量分析)?
.回歸分析的基本原理和應用場景
.回歸分析的種類(一元/多元、線性/曲線)
.得到回歸方程的幾種常用方法
.回歸分析的五個步驟與結果解讀
.回歸預測結果評估(如何評估預測質量,如何選擇*回歸模型)
演練:散點圖找推廣費用與銷售額的關系(一元線性回歸)
演練:推廣費用、辦公費用與銷售額的關系(多元線性回歸)
演練:讓你的營銷費用預算更準確
演練:如何選擇*的回歸預測模型(曲線回歸)
.帶分類變量的回歸預測
演練:汽車季度銷量預測
演練:工齡、性別與終端銷量的關系
演練:如何評估銷售目標與資源配置(營業廳)
3.時序預測
問題:隨著時間變化,未來的銷量變化趨勢如何?
.時序分析的應用場景(基于時間的變化規律)
.移動平均MA的預測原理
.指數平滑ES的預測原理
.自回歸移動平均ARIMA模型
.如何評估預測值的準確性?
案例:銷售額的時序預測及評估
演練:汽車銷量預測及評估
演練:電視機銷量預測分析
演練:上海證券交易所綜合指數收益率序列分析
演練:服裝銷售數據季節性趨勢預測分析
4.季節性預測模型
.季節性回歸模型的參數
.常用季節性預測模型(相加、相乘)
案例:*航空旅客里程的季節性趨勢分析
案例:產品銷售季節性趨勢預測分析
5.新產品預測模型與S曲線
.如何評估銷量增長的拐點
.珀爾曲線與龔鉑茲曲線
案例:如何預測產品的銷售增長拐點,以及銷量上限
演戲:預測IPad產品的銷量
6.自定義模型(如何利用規劃求解進行自定義模型)
案例:如何對餐廳客流量進行建模及模型優化
第五部分: 回歸模型優化篇
1.回歸模型的基本原理
.三個基本概念:總變差、回歸變差、剩余變差
.方程的顯著性檢驗:是否可以做回歸分析?
.擬合優度檢驗:回歸模型的質量評估?
.因素的顯著性檢驗:自變量是否可用?
.理解標準誤差的含義:預測的準確性?
2.模型優化思路:尋找*回歸擬合線
.如何處理異常數據(殘差與異常值排除)
.如何剔除非顯著因素(因素顯著性檢驗)
.如何進行非線性關系檢驗
.如何進行相互作用檢驗
.如何進行多重共線性檢驗
.如何檢驗誤差項
.如何判斷模型過擬合
案例:模型優化案例
第六部分: 分類預測模型
1.分類概述
.分類的基本過程
.常見分類預測模型
2.邏輯回歸分析模型
問題:如果評估用戶是否購買產品的概率?
.邏輯回歸分析
.邏輯回歸的原理
案例:客戶購買預測分析(二元邏輯回歸)
3.決策樹分類
問題:如何提取客戶流失者、拖欠貨款者的特征?如何預測其流失的概率?
.決策樹分類的原理
.決策樹的三個關鍵問題
.決策樹算法
.如何評估分類模型的性能(查準率、查全率)
案例:識別銀行欠貨風險,提取欠貨者的特征
案例:客戶流失預警與客戶挽留模型
4.神經網絡
.神經網絡概述
.神經元工作原理
.神經網絡的建立步驟
.B-P反向傳播網絡(MLP)
.徑向基函數網絡(RBF)
5.支持向量機
.SVM基本原理
.維災難與核函數
6.樸素貝葉斯分類
.條件概率
.樸素貝葉斯
.TAN貝葉斯網絡
.馬爾科夫毯網絡
第七部分: 客戶細分與聚類
1.客戶細分常用方法
2.聚類分析(Clustering)
問題:如何對市場進行細分?如何提取客戶特征,從而對產品進行市場定位?
.聚類方法原理介紹
.聚類方法適用場景
.如何細分客戶群,并提取出客戶群的特征?
.K均值聚類(快速聚類)
.兩步聚類
案例:移動三大品牌細分市場合適嗎?
演練:寶潔公司如何選擇新產品試銷區域?
3.RFM模型分析
.RFM模型,更深入了解你的客戶價值
.RFM模型與市場策略
.RFM模型與活躍度
案例:淘寶客戶價值評估與促銷名單
第八部分: 產品推薦與關聯分析
問題:購買面包的人是否也會購買牛奶?他們同時購買哪些產品?
.關聯規則原理介紹
.關聯規則適用場景:交叉銷售、捆綁營銷、產品布局
案例:超市商品交叉銷售與布局優化(關聯分析)
結束:課程總結與問題答(da)疑。
轉載://citymember.cn/gkk_detail/27801.html
已開課時間Have start time
- 傅一航
大數據課程內訓
- 能源電力企業數字化轉型探索 李開東
- 大數據項目解決方案及應用 胡國慶
- 《大數據精益化營銷思維與運 喻國慶(qing)
- 數據創造價值——大數據分析 張曉如
- 企業區塊鏈技術的應用場景與 李(li)璐(lu)
- 《流量神器,銷量升級:如何 武建偉
- 數據驅動價值 ——基于Ex 張(zhang)曉如
- 大數據提升:用戶體驗提升與 武建(jian)偉
- 《大數據分析與客戶開發》 喻國慶(qing)
- 《精細運營——京東/天貓平 武(wu)建偉(wei)
- 《銀行--網絡消費行為與網 武(wu)建偉
- 建材門店--微信獲客與運營 武(wu)建偉