課(ke)程描述INTRODUCTION
大數據分析與可視化技術應用線上培訓
日程(cheng)安排SCHEDULE
課程(cheng)大綱(gang)Syllabus
大數據分析與可視化技術應用線上培訓
一、培訓重點
1.數據分析實戰
2.數據挖掘理論及核心技術
3.大數據算法原理及案例實現
4.Python應用實(shi)戰
二、培訓特色
1.理論與實踐相結合、案例分析與行業應用穿插進行;
2.專家精彩內容解析、學員專題討論、分組研究;
3.通過全面知識(shi)理解、專(zhuan)題技能(neng)和實踐(jian)結合的授課方式。
三、日程安排
時間 |
知識模塊 |
授課內容 |
第一天 上午 |
數據分析實戰 |
第一講 零基礎學(xue)Python 講解Python背景、國內發(fa)展狀況、基礎語法(fa)、數(shu)據結構(gou)及繪(hui)圖操作等內容。特別針對向量計(ji)算(suan)這(zhe)塊,著重介(jie)紹Python在這(zhe)方(fang)面的優勢及用(yong)法(fa)。 |
第二講 數據分析(xi)方(fang)法論(lun) 講解(jie)統計分析基(ji)礎,包括(kuo)統計學(xue)基(ji)本概念(nian),假設檢驗,置信區間等基(ji)礎,并結合(he)數據案例說明其使(shi)用場景和(he)運用方法。介(jie)紹數據分析流程和(he)常見分析思路,并結合(he)案例進行講解(jie)。 |
||
第三(san)講 數(shu)據處理技法 從數(shu)(shu)據(ju)(ju)接(jie)(jie)入(ru)、數(shu)(shu)據(ju)(ju)統計、數(shu)(shu)據(ju)(ju)轉換(huan)等幾個方面進(jin)行講(jiang)解。數(shu)(shu)據(ju)(ju)接(jie)(jie)入(ru)包(bao)含(han)接(jie)(jie)入(ru)MySQL、Oracle、Hadoop等常見數(shu)(shu)據(ju)(ju)庫操作;數(shu)(shu)據(ju)(ju)統計包(bao)含(han)Pandas包(bao)的具體用法和講(jiang)解;數(shu)(shu)據(ju)(ju)轉換(huan)包(bao)含(han)對(dui)數(shu)(shu)據(ju)(ju)集(ji)的關(guan)聯、合(he)并、重塑等操作。此外,針(zhen)對(dui)海量數(shu)(shu)據(ju)(ju)的情況(kuang)下,介紹在Spark平(ping)臺(tai)上的數(shu)(shu)據(ju)(ju)處理技術,并結合(he)真實環境進(jin)行操作講(jiang)解。 |
||
第一天 下午 |
數據挖掘理論及核心技術 |
第四(si)講 認識數據(ju)挖掘 講解(jie)數據挖掘基本概念,細(xi)致講解(jie)業務理解(jie)、數據理解(jie)、數據準備(bei)、建立模型、模型評估、模型部署各(ge)環(huan)節的(de)工(gong)作內容及(ji)相關技術;結(jie)合業界經典場景(jing),講解(jie)數據挖掘的(de)實施流程和方法體系(xi)。 |
第五講 數據(ju)挖掘核心(xin)技術 細致講(jiang)解(jie)(jie)抽樣、分區(qu)、樣本平(ping)衡、特(te)征選擇(ze)、訓練模(mo)型、評估模(mo)型等數據挖掘(jue)核(he)(he)心(xin)(xin)技(ji)術(shu)原理(li),并結合(he)案(an)例講(jiang)解(jie)(jie)其具體實現(xian)和(he)用法。尤其針對樣本平(ping)衡,重點講(jiang)解(jie)(jie)人工合(he)成(cheng)、代價敏感等算法;針對特(te)征選擇(ze),重點講(jiang)解(jie)(jie)特(te)征選擇(ze)的核(he)(he)心(xin)(xin)思路,并結合(he)Python進(jin)行案(an)例演(yan)示(shi)。 |
||
第二天 上午 |
大數據算法原理及案例實現(1) |
第六(liu)講(jiang) 特征降維算法及Python實現(xian) 降維是大(da)數據(ju)分(fen)析非常重要的(de)算法 ,它可以在降低極少(shao)信息量(liang)的(de)情(qing)況下,極大(da)地縮小數據(ju)規模。主要講解主成分(fen)、LDA以及t-SNE原(yuan)理(li),并結合(he)案(an)例進行Python實現(xian)。特(te)別地,針對(dui)海(hai)量(liang)數據(ju)情(qing)況下的(de)應(ying)用場景,講解實現(xian)思路和Python案(an)例。 |
第七講 決策樹算法及Python實現 決策(ce)(ce)樹是非常(chang)經典的算法(fa) ,一般常(chang)見于(yu)小(xiao)數據的挖掘(jue)。由于(yu)決策(ce)(ce)樹具有極強(qiang)的可解(jie)釋性,針對海量數據仍然(ran)是非常(chang)重(zhong)要的實用價值。主要講解(jie)ID3、C4.5、C5.0以及(ji)CART決策(ce)(ce)樹算法(fa)的實現原理,并(bing)結合案例進行Python實現。 |
||
第八(ba)講 基于乳腺(xian)癌數據進行降維分析并建(jian)立(li)分類模型 實戰(zhan)部分(fen)(fen):基于乳腺癌(ai)數據(ju)進(jin)行(xing)降維處理(li),并(bing)(bing)嘗試建立分(fen)(fen)類評估模型(xing)。旨(zhi)在通(tong)過(guo)該模型(xing),并(bing)(bing)潛在的乳腺癌(ai)患者(zhe)進(jin)行(xing)識別。 |
||
第二天 下午 |
大數據算法原理及案例實現(2) |
第九講(jiang) 因果推(tui)理(li)算(suan)法及Python實現 大數據(ju)分(fen)(fen)析技術(shu)可以幫(bang)助(zhu)我(wo)們去(qu)(qu)發(fa)現、解決一些業務問題,然而如何去(qu)(qu)判斷(duan)我(wo)們的改進是(shi)否生效(xiao),是(shi)否在(zai)業務指(zhi)標上呈現過(guo)一定的因果邏(luo)輯(ji),則是(shi)一個(ge)重要問題和分(fen)(fen)析方向。本(ben)節主(zhu)要介紹因果推(tui)理算法,包括貝葉(xie)斯推(tui)理、狀(zhuang)態空(kong)間模型以及(ji)CausalImpact工具(ju)等內容,并結合案例進行(xing)Python實現。 |
第十(shi)講 深度學(xue)習(xi)算(suan)法及Python實現(xian) 對于(yu)大數據的建模任(ren)務(wu),我們可以基于(yu)深度(du)學習(xi)來(lai)實現(xian),不(bu)僅能夠針對海量(liang)數據進行(xing)建模,其效果(guo)也(ye)非常不(bu)錯。本節主要(yao)講解深度(du)學習(xi)的發展歷(li)程,DBN、DNN等(deng)經典深度(du)學習(xi)算法(fa),深度(du)學習(xi)優化算法(fa)以及(ji)一(yi)些(xie)技巧。同時,介紹Keras庫(ku)的使用(yong)方(fang)法(fa),并結合案(an)例進行(xing)Python實現(xian)。 |
||
第十一(yi)講 Lending Club信貸(dai)違(wei)約分析案例 實戰部分(fen):基于(yu)Lending Club信(xin)(xin)貸違(wei)約數據,嘗試從(cong)多個(ge)不同的(de)維度進行數據分(fen)析,旨在(zai)發現一(yi)些有價值的(de)信(xin)(xin)息,同時基于(yu)該數據,經過一(yi)定的(de)處理(li),建(jian)立信(xin)(xin)貸違(wei)約識別模型(xing),旨在(zai)對信(xin)(xin)貸業(ye)務辦理(li)提供(gong)模型(xing)支持(chi),降低違(wei)約風險。 |
||
第三天 上午 |
Python應用實戰(一) |
第十二(er)講 Python自然語言處理原理及案例 目前文(wen)(wen)檔數據已經(jing)成為(wei)很多企業重(zhong)要的資(zi)產,通過對文(wen)(wen)檔數據進(jin)行解(jie)析(xi)、建模(mo)、分析(xi)、挖掘、可視化,我們能夠發現不一樣(yang)的洞察。本節(jie)主要講解(jie)自然語言處理基本概念和技法,包(bao)含分詞、關鍵字提(ti)取(qu)、文(wen)(wen)摘提(ti)取(qu)、文(wen)(wen)本分類(lei)、主題模(mo)型、word2vec等(deng)內容(rong)。介紹在深度學習的加持(chi)下,與傳統做法的區別,并使(shi)用Python進(jin)行案例講解(jie)。 |
第(di)十三(san)講 數據分析圖(tu)表及Python案(an)例 數(shu)據(ju)可(ke)(ke)視(shi)(shi)化(hua)是大數(shu)據(ju)分(fen)析的(de)(de)(de)(de)(de)重要(yao)手(shou)段,通過合理(li)地使用(yong)圖表,不(bu)僅可(ke)(ke)以簡潔地表達(da)數(shu)據(ju)的(de)(de)(de)(de)(de)含義,高效地發(fa)現問題,還可(ke)(ke)以為報告(gao)的(de)(de)(de)(de)(de)編寫以及(ji)數(shu)據(ju)分(fen)析web應用(yong)增色不(bu)少(shao)。本節(jie)主(zhu)要(yao)講解常用(yong)的(de)(de)(de)(de)(de)數(shu)據(ju)分(fen)析圖表及(ji)其使用(yong)場景,介(jie)紹數(shu)據(ju)可(ke)(ke)視(shi)(shi)化(hua)的(de)(de)(de)(de)(de)方(fang)法(fa)論,避免生搬(ban)硬(ying)套的(de)(de)(de)(de)(de)使用(yong)圖表,針對(dui)不(bu)同的(de)(de)(de)(de)(de)業務場景和需求,合理(li)選擇(ze)可(ke)(ke)視(shi)(shi)化(hua)方(fang)法(fa)。介(jie)紹的(de)(de)(de)(de)(de)工具不(bu)限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用(yong)可(ke)(ke)視(shi)(shi)化(hua)庫。 |
||
第三天 下午 |
Python應用實戰(二) |
第(di)十四講(jiang) 使用(yong)Notebook編(bian)寫數據分析報(bao)告 數(shu)(shu)(shu)據(ju)(ju)分(fen)析(xi)報(bao)(bao)告(gao)在大數(shu)(shu)(shu)據(ju)(ju)分(fen)析(xi)過(guo)程中具有重要(yao)(yao)價值(zhi),它體(ti)(ti)現(xian)了大數(shu)(shu)(shu)據(ju)(ju)分(fen)析(xi)的(de)目的(de)、過(guo)程和結果,以及對發現(xian)問題的(de)解讀、改進(jin)方(fang)案等等,本節(jie)主要(yao)(yao)講解使用Notebook編寫數(shu)(shu)(shu)據(ju)(ju)分(fen)析(xi)報(bao)(bao)告(gao)的(de)具體(ti)(ti)方(fang)法,以及編寫數(shu)(shu)(shu)據(ju)(ju)分(fen)析(xi)報(bao)(bao)告(gao)的(de)方(fang)法論,并結合案例(li)講解其用法。 |
第十(shi)五(wu)講 Dash可視(shi)化開發實戰 Dash是一款不(bu)錯的(de)(de)(de)框架(jia),可以(yi)基于Dash快(kuai)速(su)開發(fa)一個輕量級的(de)(de)(de)數(shu)據分(fen)析web應用(yong)。在(zai)網頁中嵌入(ru)圖(tu)(tu)表、數(shu)據以(yi)及分(fen)析的(de)(de)(de)算法,非常適合打造(zao)企業內部(bu)(bu)的(de)(de)(de)敏捷(jie)數(shu)據分(fen)析工(gong)具(ju)集(ji)。本節主要介紹Dash的(de)(de)(de)UI、Server、Reactivity、控件等內容(rong),同時講解一個用(yong)Dash實(shi)現數(shu)據分(fen)析功能(兼(jian)圖(tu)(tu)表)的(de)(de)(de)實(shi)際(ji)案例(li),搭建服務器,在(zai)企業內部(bu)(bu)實(shi)現輕量級數(shu)據分(fen)析應用(yong)。 |
||
總結與答疑 |
四、授課專家
劉老(lao)師 10多年的IT領域相(xiang)關技術研究和(he)項目(mu)開發(fa)工(gong)作,在長期軟(ruan)(ruan)件(jian)(jian)領域工(gong)作過(guo)程(cheng)(cheng)中,對(dui)(dui)軟(ruan)(ruan)件(jian)(jian)企業運作模式有(you)(you)深(shen)入(ru)研究,熟(shu)悉(xi)軟(ruan)(ruan)件(jian)(jian)質(zhi)量保(bao)障(zhang)標準ISO9003和(he)軟(ruan)(ruan)件(jian)(jian)過(guo)程(cheng)(cheng)改進模型CMM/CMMI,在具(ju)(ju)(ju)體項目(mu)實施(shi)過(guo)程(cheng)(cheng)中總結經驗,有(you)(you)深(shen)刻認識。通曉多種(zhong)軟(ruan)(ruan)件(jian)(jian)設計(ji)和(he)開發(fa)工(gong)具(ju)(ju)(ju)。對(dui)(dui)軟(ruan)(ruan)件(jian)(jian)開發(fa)整(zheng)個流程(cheng)(cheng)非常熟(shu)悉(xi),能(neng)(neng)(neng)根據(ju)項目(mu)特(te)點定制具(ju)(ju)(ju)體軟(ruan)(ruan)件(jian)(jian)過(guo)程(cheng)(cheng),并(bing)進行(xing)項目(mu)管(guan)理(li)和(he)監控,有(you)(you)很強(qiang)的軟(ruan)(ruan)件(jian)(jian)項目(mu)組織管(guan)理(li)能(neng)(neng)(neng)力。對(dui)(dui)C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大(da)數據(ju)、云(yun)計(ji)算有(you)(you)比較深(shen)入(ru)的理(li)解(jie)和(he)應(ying)用(yong),具(ju)(ju)(ju)有(you)(you)較強(qiang)的移動(dong)互聯網應(ying)用(yong)需求分析(xi)和(he)系(xi)統設計(ji)能(neng)(neng)(neng)力,熟(shu)悉(xi)Android框架(jia)(jia)、IOS框架(jia)(jia)等技術,了(le)解(jie)各種(zhong)設計(ji)模式,能(neng)(neng)(neng)在具(ju)(ju)(ju)體項目(mu)中靈活運用(yong)。
大數據分析與可視化技術應用線上培訓
轉載://citymember.cn/gkk_detail/237004.html
已開(kai)課時間(jian)Have start time
大數據課程內訓
- 《流量神器,銷量升級:如何 武建(jian)偉
- 《大數據精益化營銷思維與運 喻國慶
- 數據創造價值——大數據分析 張曉如
- 大數據提升:用戶體驗提升與 武(wu)建偉
- 建材門店--微信獲客與運營 武建(jian)偉
- 企業區塊鏈技術的應用場景與 李璐
- 《大數據分析與客戶開發》 喻國慶
- 大數據項目解決方案及應用 胡(hu)國慶
- 數據驅動價值 ——基于Ex 張曉如
- 《精細運營——京東/天貓平 武建偉(wei)
- 《銀行--網絡消費行為與網 武建偉
- 能源電力企業數字化轉型探索 李開東