課程描述INTRODUCTION
Python數據挖掘
日程安排SCHEDULE
課程大綱Syllabus
Python數據挖掘
【課程目標】
本課程主要講解如何利用Python進行時間序列的數據建模。
通過本課程的學習,達到如下目的:
1、全面掌握Python語言以及其編程思想。
2、掌握常用擴展庫的使用,特別是數據挖掘相關庫的使用。
3、學會使用Python完成數據挖掘項目整個過程。
4、掌握利用Python實現可視化呈現。
5、掌握(wo)數據挖掘常見(jian)算法在Python中的(de)實(shi)現。
【授課對象】
業務支持部、IT系統部、大數(shu)據系統開(kai)發(fa)部、大數(shu)據分析中心、網絡運(yun)維部等相關技術(shu)人(ren)員。
【課程大綱】
一、數據挖掘基礎
1、數據挖掘概述
2、數據挖掘的標準流程(CRISP-DM)
-商業理解
-數據準備
-數據理解
-模型建立
-模型評估
-模型應用
案例:客戶流失預測及客戶挽留
3、數(shu)據挖掘常用模型
二、數據預處理篇
1、數據預處理的主要任務
-數據集成:多個數據集的合并
-數據清理:異常值的處理
-數據處理:數據篩選、數據精簡、數據平衡
-變量處理:變量變換、變量派生、變量精簡
-數據歸約:實現降維,避免維災難
2、數據集成
-數據追加(添加數據)
-變量合并(添加變量)
3、數據理解(異常數據處理)
-取值范圍限定
-重復值處理
-無效值/錯誤值處理
-缺失值處理
-離群值/極端值處理
-數據質量評估
4、數據準備:數據處理
-數據篩選:數據抽樣/選擇(減少樣本數量)
-數據精簡:數據分段/離散化(減少變量的取值個數)
-數據平衡:正反樣本比例均衡
5、數據準備:變量處理
-變量變換:原變量取值更新,比如標準化
-變量派生:根據舊變量生成新的變量
-變量精簡:降維,減少變量個數
6、數據降維
-常用降維的方法
-如何確定變量個數
-特征選擇:選擇重要變量,剔除不重要的變量
-從變量本身考慮
-從輸入變量與目標變量的相關性考慮
-對輸入變量進行合并
-因子分析(主成分分析)
-因子分析的原理
-因子個數如何選擇
-如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
7、數據探索性分析
-常用統計指標分析
-單變量:數值變量/分類變量
-雙變量:交叉分析/相關性分析
-多變量:特征選擇、因子分析
演練:描述性分析(頻數、描述、探索、分類匯總)
8、數據可視化
-數據可視化:柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
-圖形的表達及適用場景
演練:各種圖形繪制
三、用戶專題分析
1、用戶專題分析的主要任務
2、客戶群細分與聚類分析
問題:我們的客戶有幾類?各類特征是什么?如何實現客戶細分,開發符合細分市場的新產品?
-聚類方法原理介紹
-聚類方法作用及其適用場景
-聚類分析的種類
-K均值聚類
案例:移動三大品牌細分市場合適嗎?
演練:寶潔公司如何選擇新產品試銷區域?
演練:如何評選優秀員工?
演練:中國各省份發達程度分析,讓數據自動聚類
-最優K值選擇
-Elbow手肘法
-Silhouette Coefficient輪廓系數
-Calinski-Harabasz Index準則
-雙聚類bicluster及評估
-譜聚類聯合
-聯合譜聚類SpectralCoclustering
-雙向譜聚類SpectralBiclustering
-DBSCAN鄰近聚類
3、客戶喜好評估與主成分分析PCA
營銷問題:如何匯聚大眾的共同喜好?
-主成分分析方法介紹
-主成分分析基本思想
-主成分分析步驟
案例:如何評估汽車購買者的客戶細分市場
4、客戶價值評估與RFM模型
營銷問題:如何評估客戶的價值?不同的價值客戶有何區別對待?
-RFM模型(客戶價值評估)
-RFM模型,更深入了解你的客戶價值
-RFM模型與市場策略
-RFM模型與活躍度分析
案例:淘寶客戶價值評估與促銷名單
案例:重購用(yong)戶特(te)征分析
四、產品專題分析
1、產品專題分析主要任務
-產品設計分析
-市場占有分析
-累計銷量分析
-定價策略分析
2、產品設計優化(聯合分析法)
問題:如何設計最優的功能特征?
-評估功能特征的重要性
-評估功能特征的價值
案例:產品開發與設計分析
3、產品評估模型(隨機效用理論)
-屬性重要性評估
-市場占有率評估
-產品價格彈性評估
-評估產品的品牌價值
-動態調價(納會均衡價格)
案例:品牌價值與價格敏感度分析
案例(li):納什均衡價格
五、產品定價策略
營銷問題:產品如何實現最優定價?套餐價格如何確定?采用哪些定價策略可達到利潤*化?
1、常見的定價方法
2、產品定價的理論依據
-需求曲線與利潤*化
-如何求解最優定價
案例:產品最優定價求解
3、如何評估需求曲線
-價格彈性
-曲線方程(線性、乘冪)
4、如何做產品組合定價
5、如何做產品捆綁/套餐定價
-*收益定價(演進規劃求解)
-避免價格反轉的套餐定價
案例:電信公司的寬帶、IPTV、移動電話套餐定價
6、非線性定價原理
-要理解支付意愿曲線
-支付意愿曲線與需求曲線的異同
案例:雙重收費如何定價(如會費+按次計費)
7、階梯定價策略
案例:電力公司如何做階梯定價
8、數量折扣定價策略
案例:如何通過折扣來實現薄利多銷
9、定價策略的評估與選擇
案例:零售公司如何選擇最優定價策略
10、航空公司的收益管理
-收益管理介紹
-如何確定機票預訂限制
-如何確定機票超售數量
-如何評估模型的收益
案例:FBN航空(kong)公司(si)如何實(shi)現收益管(guan)理(預訂(ding)/超售)
六、產品推薦與協同過濾
問題:購買A產品的顧客還常常要購買其他什么產品?應該給客戶推薦什么產品最有可能被接受?
1、從搜索引擎到推薦引擎
2、常用產品推薦模型及算法
3、基于流行度的推薦
-基于排行榜的推薦,適用于剛注冊的用戶
-優化思路:分群推薦
4、基于內容的推薦CBR
-關鍵問題:如何計算物品的相似度
-優缺點
-優化:Rocchio算法、基于標簽的推薦、基于興趣度的推薦
5、基于用戶的推薦
-關鍵問題:如何對用戶分類/計算用戶的相似度
-算法:按屬性分類、按偏好分類、按地理位置
6、協同過濾的推薦
-基于用戶的協同過濾
-基于物品的協同過濾
-冷啟動的問題
案例:計算用戶相似度、計算物品相似度
7、基于分類模型的推薦
8、其它推薦算法
-LFM基于隱語義模型
-按社交關系
-基于時間上下文
9、多推薦引擎(qing)的協同工作(zuo)
七、信用評分卡模型
信用評分卡模型簡介
評分卡的關鍵問題
信用評分卡建立過程
-篩選重要屬性
-數據集轉化
-建立分類模型
-計算屬性分值
-確定審批閾值
篩選重要屬性
-屬性分段
-基本概念:WOE、IV
-屬性重要性評估
數據集轉化
-連續屬性最優分段
-計算屬性取值的WOE
建立分類模型
-訓練邏輯回歸模型
-評估模型
-得到字段系數
計算屬性分值
-計算補償與刻度值
-計算各字段得分
-生成評分卡
確定審批閾值
-畫K-S曲線
-計算K-S值
-獲取最優閾值
八、交叉銷售與關聯規則
1、關聯規則概述
2、常用關聯規則算法
-Apriori算法
-發現頻繁集
-生成關聯規則
-FP-Growth算法
-構建FP樹
-提取規則
案例:使用(yong)apriori實(shi)現關聯分析(xi)
九、基于關聯分析的推薦
-如何制定套餐,實現交叉/捆綁銷售
案例:啤酒與尿布、颶風與蛋撻
-關聯分析模型原理(Association)
-關聯規則的兩個關鍵參數
-支持度
-置信度
-關聯分析的適用場景
案例:購物籃分析與產品捆綁銷售/布局優化
案例(li):通信產品的交叉銷(xiao)售與產品推薦
結束:課程總結與問題答疑。
Python數據挖掘
轉載://citymember.cn/gkk_detail/265687.html
已(yi)開課時間Have start time
- 傅一航
IT相關內訓
- 軟件安全意識加強與技能提高 張勝生
- 網安管理崗培訓 張勝生
- 電力信息化:價值和建設分析 劉宇佳
- 滲透測試與攻防實戰高級課程 張勝生
- 信息安全風險評估與加固技能 張勝生
- Python高效辦公自動化 張(zhang)曉如
- IT崗位數智化能力提升路徑 甄文智
- 大模型技術與應用培訓 葉梓(zi)
- 云計算的應用領域和實踐 武威
- 互聯網新技術在銀行的應用 武威
- CISSP認證培訓課程 張勝生
- Fine BI 數據分析與 張曉如