大數據挖掘工具: SPSS Statistics入門與提高
講師：傅一(yi)航 瀏(liu)覽次數(shu)：2562
課程描述INTRODUCTION
培訓講師：
課程價格：
培訓天數：日程安排SCHEDULE
課程大綱Syllabus
大數據分析挖掘工具
【課程目標】
本課程為數據分析和挖掘的工具篇，本課程面向數據分析部等專門負責數據分析與挖掘的人士，專注大數據挖掘工具SPSS Statistics的培訓。
IBM SPSS工具是面向非專業人士的高級的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決更復雜的業務問題，比如影響因素分析、客戶行為預測/精準營銷、客戶群劃分、產品交叉銷售、產品銷量預測等等。工具它封裝了復雜難懂的算法實現，即使你沒有深厚的技能能力，也能夠勝任復雜的數據分析和挖掘。
本課程從實際的業務需求出發，對數據分析及數據挖掘技術進行了全面的介紹，將數據挖掘標準流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通過大量的工具操作和演練，幫助學員熟練掌握SPSS工具的使用，并能夠將SPSS工具在實際的業務數據分析中滿地，實現“知行合一”。
通過本課程的學習，達到如下目的：
1、 了解大數據挖掘的標準過程和挖掘步驟
2、 掌握常用的統計分析方法，以及可視化
3、 掌握常用的影響因素分析方法，學會根因分析
4、 理解數據挖掘的常見模型，原理及適用場景。
5、 熟練掌握SPSS基本操作，能利用SPSS解決實際的商業問題。
【授課對象】
市場部、業務支撐部、數據分析部、運營分析部等對業務數據分析有較高要求的相關人員。
【課程大綱】
第一部分： 數據挖掘標準流程
1、 數據挖掘概述
2、 數據挖掘的標準流程（CRISP-DM）
-商業理解
-數據準備
-數據理解
-模型建立
-模型評估
-模型應用
案例：客戶流失預測及客戶挽留
3、 數據集概述
4、 SPSS工具介紹
5、 數據挖掘常用模型
第二部分： 數據預處理
如何整理數據，了解數據，對數據進行預處理？
1、 數據預處理的四大任務
-數據集成：多個數據集合并
-數據清洗：異常值的處理
-樣本處理：樣本篩選、樣本抽樣、樣本平衡
-變量處理：變量變換、變量派生、變量精簡
2、 數據集成（數據集合并）
-樣本追加（添加數據行）：橫向合并
-變量合并（添加變量列）：縱向合并
3、 數據清洗（異常數據處理）
-取值范圍限定
-重復值處理
-無效值/錯誤值處理
-缺失值處理
-離群值/極端值處理
-數據質量評估
4、 樣本處理：行處理
樣本篩選：指定條件篩選指定樣本集（減少樣本數量）
樣本抽樣：隨機抽取部分樣本集（減少樣本數量）
樣本平衡：正反樣本比例均衡
5、 變量處理：列處理
變量變換：原變量取值更新，比如標準化
變量派生：根據舊變量生成新的變量
變量精簡：變量刪除/降維，減少變量個數
類型轉換：數據類型的相互轉換
6、 變量精簡/變量降維常用方法
-常用降維方法
-如何確定降維后變量個數
-特征選擇：選擇重要變量，剔除不重要變量
-基于變量本身特征來選擇屬性
-基于數據間的相關性來選擇屬性
-利用IV值篩選
-基于信息增益來選擇屬性
-因子合并：將多個變量進行合并
-PCA主成分分析
-判別分析
7、 類型轉換
8、 因子合并/主成分分析
-因子分析的原因
-因子個數選擇原則
-如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
9、 數據探索性分析
-常用統計指標分析
單變量：數值變量/分類變量
雙變量：交叉分析/相關性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數、描述、探索、分類匯總）
第三部分： 數據可視化
1、 數據可視化的原則
2、 常用可視化工具
3、 常用可視化圖形
-柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
4、 圖形的表達及適用場景
演練：各種圖形繪制
第四部分： 影響因素分析篇
營銷問題：哪些因素是影響業務目標的關鍵要素？比如，產品在貨架上的位置是否對銷量有影響？價格和廣告開銷是如何影響銷量的？影響風控的關鍵因素有哪些？如何判斷？
1、 影響因素分析的常見方法
2、 相關分析（衡量兩數據型變量的線性相關性）
-相關分析簡介
-相關分析的應用場景
-相關分析的種類
-簡單相關分析
-偏相關分析
-距離相關分析
-相關系數的三種計算公式
-Pearson相關系數
-Spearman相關系數
-Kendall相關系數
-相關分析的假設檢驗
-相關分析的四個基本步驟
演練：營銷費用會影響銷售額嗎？影響程度如何量化？
演練：哪些因素與汽車銷量有相關性
演練：影響用戶消費水平的因素會有哪些
-偏相關分析
-偏相關原理：排除不可控因素后的兩變量的相關性
-偏相關系數的計算公式
-偏相關分析的適用場景
-距離相關分析
3、 方差分析（衡量類別變量與數值變量間的相關性）
-方差分析的應用場景
-方差分析的三個種類
-單因素方差分析
-多因素方差分析
-協方差分析
-單因素方差分析的原理
-方差分析的四個步驟
-解讀方差分析結果的兩個要點
演練：擺放位置與銷量有關嗎
演練：客戶學歷對消費水平的影響分析
演練：廣告和價格是影響終端銷量的關鍵因素嗎
演練：營業員的性別、技能級別對產品銷量有影響嗎
演練：尋找影響產品銷量的關鍵因素
-多因素方差分析原理
-多因素方差分析的作用
-多因素方差結果的解讀
演練：廣告形式、地區對銷量的影響因素分析
-協方差分析原理
-協方差分析的適用場景
演練：排除產品價格，收入對銷量有影響嗎？
4、 列聯分析/卡方檢驗（兩類別變量的相關性分析）
-交叉表與列聯表：計數值與期望值
-卡方檢驗的原理
-卡方檢驗的幾個計算公式
-列聯表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學歷對業務套餐偏好的影響分析
案例：行業/規模對風控的影響分析
5、 相關性分析方法總結
第五部分： 回歸預測模型
營銷問題：如何預測未來的產品銷量/銷售額？如果產品跟隨季節性變動，該如何預測？
1、 回歸分析簡介和原理
2、 回歸分析的種類
-一元回歸/多元回歸
-線性回歸/非線性回歸
3、 常用回歸分析方法
-散點圖+趨勢線（一元）
-線性回歸工具（多元線性）
-規劃求解工具（非線性回歸）
演練：散點圖找營銷費用與銷售額的關系
4、 線性回歸分析的五個步驟
演練：營銷費用、辦公費用與銷售額的關系（線性回歸）
5、 線性回歸方程的解讀技巧
-定性描述：正相關/負相關
-定量描述：自變量變化導致因變量的變化程度
6、 回歸預測模型評估
-質量評估指標：判定系數R^2
-如何選擇*回歸模型
演練：如何選擇*的回歸預測模型（一元曲線回歸）
7、 帶分類自變量的回歸預測
演練：汽車季度銷量預測
演練：工齡、性別與終端銷量的關系
演練：如何評估銷售目標與資源*配置
第六部分： 回歸模型優化
1、 回歸分析的基本原理
-三個基本概念：總變差、回歸變差、剩余變差
-方程的顯著性檢驗：方程可用性
-因素的顯著性檢驗：因素可用性
-方程擬合優度檢驗：質量好壞程度
-理解標準誤差含義：預測準確性？
2、 回歸模型優化措施：尋找*回歸擬合線
-如何處理預測離群值（剔除離群值）
-如何剔除不顯著因素（剔除不顯著因素）
-如何進行非線性關系檢驗（增加非線性自變量）
-如何進行相互作用檢驗（增加相互作用自變量）
-如何進行多重共線性檢驗（剔除共線性自變量）
演練：模型優化演示
3、 好模型都是優化出來的
第七部分： 自定義回歸模型
1、 回歸建模的本質
2、 規劃求解工具簡介
3、 自定義回歸模型
案例：如何對客流量進行建模預測及模型優化
4、 回歸季節預測模型模型
-回歸季節模型的原理及應用場景
-加法季節模型
-乘法季節模型
-模型解讀
案例：*航空旅客里程的季節性趨勢分析
5、 新產品累計銷量的S曲線
-S曲線模型的應用場景（*累計銷量及銷量增長的拐點）
-珀爾曲線
-龔鉑茲曲線
案例：如何預測產品的銷售增長拐點，以及銷量上限
演練：預測IPad產品的銷量
第八部分： 回歸模型質量評估
1、 定量預測模型的評估
-方程顯著性評估
-因素顯著性評估
-擬合優度的評估
-估計標準誤差評估
-預測值準確度評估
2、 模型擬合度評估
-判定系數：
-調整判定系數：
3、 預測值準確度評估
-平均*誤差：MAE
-根均方差：RMSE
-平均誤差率：MAPE
4、 其它評估：殘差檢驗、過擬合檢驗
第九部分： 時序預測模型
營銷問題：像利率/CPI/GDP等按時序變化的指標如何預測？當銷量隨季節周期變動時該如何預測？
1、 回歸預測vs時序預測
2、 因素分解思想
3、 時序預測常用模型
-趨勢擬合
-季節擬合
-平均序列擬合
4、 評估預測值的準確度指標：MAD、RMSE、MAPE
5、 移動平均（MA）
-應用場景及原理
-移動平均種類
-一次移動平均
-二次移動平均
-加權移動平均
-移動平均比率法
-移動平均關鍵問題
-如何選取最優參數N
-如何確定最優權重系數
演練：平板電腦銷量預測及評估
演練：快銷產品季節銷量預測及評估
6、 指數平滑（ES）
-應用場景及原理
-最優平滑系數的選取原則
-指數平滑種類
-一次指數平滑
-二次指數平滑（Brown線性、Holt線性、Holt指數、阻尼線性、阻尼指數）
-三次指數平滑
演練：煤炭產量預測
演練：航空旅客量預測及評估
7、 溫特斯季節預測模型
-適用場景及原理
-Holt-Winters加法模型
-Holt-Winters乘法模型
演練：汽車銷量預測及評估
8、 平穩序列模型（ARIMA）
-序列的平穩性檢驗
-平穩序列的擬合模型
-AR(p)自回歸模型
-MA(q)移動模型
-ARMA(p,q)自回歸移動模型
-模型的識別與定階
-ACF圖/PACF圖
-最小信息準則
-序列平穩化處理
-變量變換
-k次差分
-d階差分
-ARIMA(p,d,q)模型
演練：上海證券交易所綜合指數收益率序列分析
演練：服裝銷售數據季節性趨勢預測分析
-平穩序列的建模流程
第十部分： 分類預測模型篇
問題：如何評估客戶購買產品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產品或業務？
1、 分類模型概述及其應用場景
2、 常見分類預測模型
3、 邏輯回歸（LR）
-邏輯回歸的適用場景
-邏輯回歸的模型原理
-邏輯回歸分類的幾何意義
-邏輯回歸的種類
-二項邏輯回歸
-多項邏輯回歸
-如何解讀邏輯回歸方程
-帶分類自變量的邏輯回歸分析
-多項邏輯回歸/多分類邏輯回歸
案例：如何評估用戶是否會購買某產品（二項邏輯回歸）
案例：多品牌選擇模型分析（多項邏輯回歸）
4、 分類決策樹（DT）
問題：如何預測客戶行為？如何識別潛在客戶？
風控：如何識別欠貸者的特征，以及預測欠貸概率？
客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？
-決策樹分類簡介
案例：*零售商（Target）如何預測少女懷孕
演練：識別銀行欠貨風險，提取欠貸者的特征
-決策樹分類的幾何意義
-構建決策樹的三個關鍵問題
-如何選擇*屬性來構建節點
-如何分裂變量
-修剪決策樹
-選擇最優屬性生長
-熵、基尼索引、分類錯誤
-屬性劃分增益
-如何分裂變量
-多元劃分與二元劃分
-連續變量離散化（最優分割點）
-修剪決策樹
-剪枝原則
-預剪枝與后剪枝
-構建決策樹的四個算法
-C5.0、CHAID、CART、QUEST
-各種算法的比較
-如何選擇最優分類模型？
案例：商場用戶的典型特征提取
案例：客戶流失預警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
-多分類決策樹
案例：不同套餐用戶的典型特征
-決策樹模型的保存與應用
5、 人工神經網絡（ANN）
-神經網絡概述
-神經網絡基本原理
-神經網絡的結構
-神經網絡分類的幾何意義
-神經網絡的建立步驟
-神經網絡的關鍵問題
-BP反向傳播網絡（MLP）
-徑向基網絡（RBF）
案例：評估銀行用戶拖欠貨款的概率
6、 判別分析（DA）
-判別分析原理
-判別分析種類
-Fisher線性判別分析
案例：MBA學生錄取判別分析
案例：上市公司類別評估
7、 最近鄰分類（KNN）
-KNN模型的基本原理
-KNN分類的幾何意義
-K近鄰的關鍵問題
第十一部分： 市場細分模型
問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？
1、 市場細分的常用方法
-有指導細分
-無指導細分
2、 聚類分析
-如何更好的了解客戶群體和市場細分？
-如何識別客戶群體特征？
-如何確定客戶要分成多少適當的類別？
-聚類方法原理介紹
-聚類方法作用及其適用場景
-聚類分析的種類
-K均值聚類
-層次聚類
-兩步聚類
-K均值聚類（快速聚類）
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產品試銷區域？
演練：如何自動評選優秀員工？
演練：中國各省份發達程度分析，讓數據自動聚類
-層次聚類（系統聚類）：發現多個類別
-R型聚類與Q型聚類的區別
案例：中移動如何實現客戶細分及營銷策略
演練：中國省市經濟發展情況分析（Q型聚類）
演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）
-兩步聚類
3、 客戶細分與PCA分析法
-PCA主成分分析的原理
-PCA分析法的適用場景
演練：利用PCA對汽車客戶群進行細分
演練：如何針對汽車客戶群設計汽車
第十二部分： 客戶價值評估
營銷問題：如何評估客戶的價值？不同的價值客戶有何區別對待？
1、 如何評價客戶生命周期的價值
-貼現率與留存率
-評估客戶的真實價值
-使用雙向表衡量屬性敏感度
-變化的邊際利潤
案例：評估營銷行為的合理性
2、 RFM模型（客戶價值評估）
RFM模型，更深入了解你的客戶價值
RFM模型與市場策略
RFM模型與活躍度分析
演練：“雙11”淘寶商家如何選擇價值客戶進行促銷
演練：結合響應模型，宜家IKE實現*化營銷利潤
案例：重購用戶特征分析
第十三部分： 假設檢驗
1、 參數檢驗分析（樣本均值檢驗）
問題：如何驗證營銷效果的有效性？
-假設檢驗概述
-單樣本T檢驗
-兩獨立樣本T檢驗
-兩配對樣本T檢驗
-假設檢驗適用場景
電信行業
案例：電信運營商ARPU值評估分析（單樣本）
案例：營銷活動前后分析（兩配對樣本）
金融行業
案例：信用卡消費金額評估分析（單樣本）
醫療行業
案例：吸煙與膽固醇升高的分析（兩獨立樣本）
案例：減肥效果評估（兩配對樣本）
2、 非參數檢驗分析（樣本分布檢驗）
問題：這些屬性數據的分布情況如何？如何從數據分布中看出問題？
-非參數檢驗概述
-單樣本檢驗
-兩獨立樣本檢驗
-兩相關樣本檢驗
-兩配對樣本檢驗
-非參數檢驗適用場景
案例：產品合格率檢驗（單樣本-二項分布）
案例：訓練新方法有效性檢驗（兩配對樣本-符號/秩檢驗）
案例：促銷方式效果檢驗(多相關樣本-Friedman檢驗)
案例：客戶滿意度差異檢驗(多相關樣本-Cochran Q檢驗)
結束：課程總結與問題答疑。
大數據分析挖掘工具
轉載：//citymember.cn/gkk_detail/275107.html
已開課時(shi)間Have start time
- 傅一航
[僅限會員]
大數據營銷內訓
- 《銀行--網絡消費行為與網 武建偉
- 大數據項目解決方案及應用 胡國慶
- 建材門店--微信獲客與運營 武建偉
- 《大數據精益化營銷思維與運 喻國慶(qing)
- 數據創造價值——大數據分析 張曉如
- 能源電力企業數字化轉型探索 李開東
- 企業區塊鏈技術的應用場景與 李璐
- 《精細運營——京東/天貓平 武建偉
- 數據驅動價值 ——基于Ex 張曉(xiao)如(ru)
- 《大數據分析與客戶開發》 喻國慶(qing)
- 《流量神器，銷量升級：如何 武建偉
- 大數據提升：用戶體驗提升與 武建(jian)偉