課程描(miao)述INTRODUCTION
SPSS Modeler培訓
日程安排SCHEDULE
課程大綱(gang)Syllabus
SPSS Modeler培訓
【課程目標】
本課程面向數據分析部等專門負責數據分析與挖掘的人士,專注大數據挖掘工具SPSSStatistics的培訓。
本課程培訓覆蓋以下內容:
數據挖掘標準流程。
數據挖掘模型原理。
數據挖掘方法及應用。
本課程從實際的業務需求出發,對數據分析及數據挖掘技術進行了全面的介紹,通過大量的操作演練,幫助學員掌握數據分析和數據挖掘的思路、方法、工具,從大量的企業經營數據中進行分析,發現業務運作規律,進行客戶洞察,挖掘客戶行為特點,消費行為,實現精準營銷,幫助運營團隊深入理解業務運作,以達到提升學員的數據綜合分析能力,支撐運營決策的目的。
通過本課程的學習,達到如下目的:
了解大數據基礎知識,理解大數據思維方式。
了解數據分析與數據挖掘的基本知識(統計、分布、概率等)。
掌握數據挖掘的基本過程和步驟,掌握數據挖掘的方法。
理解數據挖掘的常見模型,原理及適用場景。
熟練掌握Modeler基本操作,能利用Modeler進行數據挖掘。
【授課對象】
業務支撐、網絡中心、IT系統部、數據分析部等對業務數據分析有較高要求的相關專業人員。
【學員要求】
1、每個學員自備一臺便攜機(必須)。
2、便攜機中事先安裝好SPSSmodelerv14.1版本以上軟件。
注:講師可以提供試用版本軟件及分析數據源。
【授課方式】
基礎知識精講+案例演練+實際業務問題分析+工具實際操作
本課程突出數據挖掘的實際應用,結合行業的典型應用特點,從實際問題入手,引出相關知識,進行大數據的收集與處理;探索數據之間的規律及關聯性,幫助學員掌握系統的數據預處理方法;介紹常用的模型,訓練模型,并優化模型,以達到最優分析結果。
【課程大綱】
IBMSPPSModeler是一個數據流處理工具,適用于數據探索與數據挖掘,包括數據預處理、數據探索、數據可視化、數據建模、數據模型優化。
第一部分:大數據的核心理念
問題:大數據的核心價值是什么?大數據是怎樣用于業務決策?
1、大數據時代:你缺的不是一堆方法,而是大數據思維
2、大數據是探索事物發展和變化規律的工具
3、一切不以解決業務問題為導向的大數據都是耍流氓
4、大數據的核心能力
發現業務運行規律及問題
探索業務未來發展趨勢
5、從案例看大數據的核心本質
用趨勢圖來探索產品銷量規律
從谷歌的GFT產品探索用戶需求變化
從*總統競選看大數據對選民行為進行分析
從大數據炒股看大數據如何探索因素的相關性
6、認識大數據分析
什么是數據分析
數據分析的三大作用
常用分析的三大類別
案例:喜歡賺“差價”的營業員(用數據管理來識別)
7、數據分析需要什么樣的能力
懂業務、懂管理、懂分析、懂工具、懂呈現
8、大數據應用系統的四層結構
數據基礎層、數據模型層、業務模型層、業務應用層
9、大數據分析的兩大核心理念
10、大數據分析面臨的常見問題
不知道分析什么(分析目的不明確)
不知道怎樣分析(缺少分析方法)
不知道收集什么樣的數據(業務理解不足)
不知道下一步怎么做(不了解分析過程)
看不懂數據表達的意思(數據解讀能力差)
擔心分析不夠全面(分析思路不系統)
第二部分:數據挖掘標準流程
1、數據挖掘概述
2、數據挖掘的標準流程(CRISP-DM)
商業理解
數據準備
數據理解
模型建立
模型評估
模型應用
案例:客戶匹配度建模—找到你的準客戶
案例:客戶流失預測及客戶挽留
3、數據集概述
4、數據集的類型
5、數據集屬性的類型
標稱
序數
度量
6、數據質量三要素
準確性
完整性
一致性
第三部分:數據預處理過程
1、SPSS工具簡介
2、數據預處理的主要任務
數據集成:多個數據集的合并
數據清理:異常值的處理
數據處理:數據篩選、數據精簡、數據平衡
變量處理:變量變換、變量派生、變量精簡
數據歸約:實現降維,避免維災難
3、數據集成
外部數據讀入:Txt/Excel/SPSS/Database
數據追加(添加數據)
變量合并(添加變量)
4、數據理解(異常數據處理)
取值范圍限定
重復值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數據質量評估
5、數據準備:數據處理
數據篩選:數據抽樣/選擇(減少樣本數量)
數據精簡:數據分段/離散化(減少變量的取值個數)
數據平衡:正反樣本比例均衡
6、數據準備:變量處理
變量變換:原變量取值更新,比如標準化
變量派生:根據舊變量生成新的變量
變量精簡:降維,減少變量個數
7、數據降維
常用降維的方法
如何確定變量個數
特征選擇:選擇重要變量,剔除不重要的變量
從變量本身考慮
從輸入變量與目標變量的相關性考慮
對輸入變量進行合并
因子分析(主成分分析)
因子分析的原理
因子個數如何選擇
如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
8、數據探索性分析
常用統計指標分析
單變量:數值變量/分類變量
雙變量:交叉分析/相關性分析
多變量:特征選擇、因子分析
演練:描述性分析(頻數、描述、探索、分類匯總)
第四部分:數據可視化篇
1、數據可視化的原則
2、常用可視化工具
3、常用可視化圖形
柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
4、圖形的表達及適用場景
演練:各種圖形繪制
第五部分:影響因素分析篇
問題:如何判斷一個因素對另一個因素有影響?比如營銷費用是否會影響銷售額?產品價格是否會影響銷量?產品的陳列位置是否會影響銷量?
風險控制的關鍵因素有哪些?如何判斷?
1、影響因素分析的常見方法
2、相關分析(衡量變量間的的相關性)
問題:這兩個屬性是否會相互影響?影響程度大嗎?營銷費用會影響銷售額嗎?
什么是相關關系
相關系數:衡量相關程度的指標
相關系數的三個計算公式
相關分析的假設檢驗
相關分析的基本步驟
相關分析應用場景
演練:體重與腰圍的關系
演練:營銷費用會影響銷售額嗎
演練:哪些因素與汽車銷量有相關性
演練:通信費用與開通月數的相關分析
案例:酒樓生意好壞與報紙銷量的相關分析
偏相關分析
距離相關分析
3、方差分析
問題:哪些才是影響銷量的關鍵因素?
方差分析解決什么問題
方差分析種類:單因素/雙因素可重復/雙因素無重復
方差分析的應用場景
方差分析的原理與步驟
如何解決方差分析結果
演練:終端擺放位置與終端銷量有關嗎?
演練:開通月數驛客戶流失的影響分析
演練:客戶學歷對消費水平的影響分析
演練:廣告和價格是影響終端銷量的關鍵因素嗎
演練:營業員的性別、技能級別產品銷量有影響嗎?
案例:2015年大學生工資與父母職業的關系
案例:醫生洗手與嬰兒存活率的關系
演練:尋找影響產品銷量的關鍵因素
多因素方差分析原理
多因素方差結果的解讀
演練:廣告形式、地區對銷量的影響因素分析(多因素)
協方差分析原理
演練:飼料對生豬體重的影響分析(協方差分析)
4、列聯分析(兩類別變量的相關性分析)
交叉表與列聯表
卡方檢驗的原理
卡方檢驗的幾個計算公式
列聯表分析的適用場景
案例:套餐類型對客戶流失的影響分析
案例:學歷對業務套餐偏好的影響分析
案例:行業/規模對風控的影響分析
第六部分:數值預測模型篇
問題:如何預測產品的銷量/銷售金額?如果產品跟隨季節性變動,該如何預測?新產品上市,如果評估銷量上限及銷售增速?
1、銷量預測與市場預測——讓你看得更遠
2、回歸預測/回歸分析
問題:如何預測未來的銷售量(定量分析)?
回歸分析的基本原理和應用場景
回歸分析的種類(一元/多元、線性/曲線)
得到回歸方程的幾種常用方法
回歸分析的五個步驟與結果解讀
回歸預測結果評估(如何評估預測質量,如何選擇*回歸模型)
演練:散點圖找推廣費用與銷售額的關系(一元線性回歸)
演練:推廣費用、辦公費用與銷售額的關系(多元線性回歸)
演練:讓你的營銷費用預算更準確
演練:如何選擇*的回歸預測模型(曲線回歸)
帶分類變量的回歸預測
演練:汽車季度銷量預測
演練:工齡、性別與終端銷量的關系
演練:如何評估銷售目標與資源配置(營業廳)
3、時序預測
問題:隨著時間變化,未來的銷量變化趨勢如何?
時序分析的應用場景(基于時間的變化規律)
移動平均MA的預測原理
指數平滑ES的預測原理
自回歸移動平均ARIMA模型
如何評估預測值的準確性?
案例:銷售額的時序預測及評估
演練:汽車銷量預測及評估
演練:電視機銷量預測分析
演練:上海證券交易所綜合指數收益率序列分析
演練:服裝銷售數據季節性趨勢預測分析
第七部分:回歸模型優化篇
1、回歸模型的基本原理
三個基本概念:總變差、回歸變差、剩余變差
方程的顯著性檢驗:是否可以做回歸分析?
擬合優度檢驗:回歸模型的質量評估?
因素的顯著性檢驗:自變量是否可用?
理解標準誤差的含義:預測的準確性?
2、模型優化思路:尋找*回歸擬合線
如何處理異常數據(殘差與異常值排除)
如何剔除非顯著因素(因素顯著性檢驗)
如何進行非線性關系檢驗
如何進行相互作用檢驗
如何進行多重共線性檢驗
如何檢驗誤差項
如何判斷模型過擬合
案例:模型優化案例
第八部分:分類預測模型篇
問題:如何評估客戶購買產品的可能性?如何預測客戶的購買行為?如何提取某類客戶的典型特征?如何向客戶精準推薦產品或業務?
1、分類模型概述
2、常見分類預測模型
3、邏輯回歸模型
邏輯回歸模型原理及適用場景
邏輯回歸種類:二元/多元邏輯回歸
如何解讀邏輯回歸方程
案例:如何評估用戶是否會購買某產品(二元邏輯)
消費者品牌選擇模型分析
案例:品牌選擇模型分析,你的品牌適合哪些人群?(多元邏輯)
4、分類決策樹
問題:如何預測客戶行為?如何識別潛在客戶?
風控:如何識別欠貸者的特征,以及預測欠貸概率?
客戶保有:如何識別流失客戶特征,以及預測客戶流失概率?
決策樹分類簡介
如何評估分類性能?
案例:*零售商(Target)如何預測少女懷孕
演練:識別銀行欠貨風險,提取欠貸者的特征
構建決策樹的三個關鍵問題
如何選擇*屬性來構建節點
如何分裂變量
修剪決策樹
選擇最優屬性
熵、基尼索引、分類錯誤
屬性劃分增益
如何分裂變量
多元劃分與二元劃分
連續變量離散化(最優劃分點)
修剪決策樹
剪枝原則
預剪枝與后剪枝
構建決策樹的四個算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優分類模型?
案例:商場酸奶購買用戶特征提取
案例:電信運營商客戶流失預警與客戶挽留
案例:識別拖欠銀行貨款者的特征,避免不良貨款
案例:識別電信詐騙者嘴臉,讓通信更安全
5、人工神經網絡(ANN)
神經網絡概述
神經網絡基本原理
神經網絡的結構
神經網絡的建立步驟
神經網絡的關鍵問題
BP反向傳播網絡(MLP)
徑向基網絡(RBF)
案例:評估銀行用戶拖欠貨款的概率
6、支持向量機(SVM)
SVM基本原理
線性可分問題:*邊界超平面
線性不可分問題:特征空間的轉換
維空難與核函數
7、判別分析
判別分析原理
距離判別法
典型判別法
貝葉斯判別法
案例:MBA學生錄取判別分析
案例:上市公司類別評估
第九部分:市場細分模型篇
問題:我們的客戶有幾類?各類特征是什么?如何實現客戶細分,開發符合細分市場的新產品?如何提取客戶特征,從而對產品進行市場定位?
1、市場細分的常用方法
有指導細分
無指導細分
2、聚類分析
如何更好的了解客戶群體和市場細分?
如何識別客戶群體特征?
如何確定客戶要分成多少適當的類別?
聚類方法原理介紹
聚類方法作用及其適用場景
聚類分析的種類
K均值聚類(快速聚類)
案例:移動三大品牌細分市場合適嗎?
演練:寶潔公司如何選擇新產品試銷區域?
演練:如何評選優秀員工?
演練:中國各省份發達程度分析,讓數據自動聚類
層次聚類(系統聚類):發現多個類別
R型聚類與Q型聚類的區別
案例:中移動如何實現客戶細分及營銷策略
演練:中國省市經濟發展情況分析(Q型聚類)
演練:裁判評分的標準衡量,避免“黑哨”(R型聚類)
兩步聚類
3、主成分分析PCA分析
主成分分析原理
主成分分析基本步驟
主成分分析結果解讀
演練:PCA探索汽車購買者的細分市場
4、RFM模型客戶細分框架
第十部分:客戶價值評估
1、客戶價值評估與RFM模型
問題:如何評估客戶的價值?如何針對不同客戶采取不同的營銷策略?
RFM模型,更深入了解你的客戶價值
RFM的客戶細分框架理解
RFM模型與市場策略
RFM模型與活躍度
演練:“雙11”淘寶商家如何選擇客戶進行促銷
演練:結合響應模型,宜家IKE實現*化營銷利潤
演練:重購用戶特征分析
第十一部分:產品推薦模型
問題:購買A產品的顧客還常常要購買其他什么產品?應該給客戶推薦什么產品最有可能被接受?
1、常用產品推薦模型
2、關聯分析
如何制定套餐,實現交叉/捆綁銷售
案例:啤酒與尿布、颶風與蛋撻
關聯分析模型原理(Association)
關聯規則的兩個關鍵參數
支持度
置信度
關聯分析的適用場景
案例:購物籃分析與產品捆綁銷售/布局優化
案例:理財產品的交叉銷售與產品推薦
如何提取關聯規則(關聯分析的算法)
Apriori算法
FP-Growth算法
3、協同過濾
4、分類預測模型
結束:課程總結與問題答疑。
SPSS Modeler培(pei)訓
轉載://citymember.cn/gkk_detail/27803.html
已開課時間Have start time
- 傅一航
大數據課程內訓
- 數據創造價值——大數據分析 張曉如
- 《大數據精益化營銷思維與運 喻國慶
- 《流量神器,銷量升級:如何 武建偉
- 能源電力企業數字化轉型探索 李開東
- 大數據提升:用戶體驗提升與 武建偉(wei)
- 《大數據分析與客戶開發》 喻國(guo)慶
- 數據驅動價值 ——基于Ex 張(zhang)曉如
- 建材門店--微信獲客與運營 武建偉
- 大數據項目解決方案及應用 胡國慶
- 《精細運營——京東/天貓平 武建偉(wei)
- 《銀行--網絡消費行為與網 武建(jian)偉
- 企業區塊鏈技術的應用場景與 李璐