課程(cheng)描述INTRODUCTION
武漢數據分析(xi)方法與技巧培訓(xun)課程大綱
日程安(an)排(pai)SCHEDULE
課程大綱Syllabus
課程背景
介紹大數據的概念和特征,面向安全的大數據分析的目的是希望從大數據中分析出異常行為或攻擊事件,尤其是未知且未感知的攻擊和異常。從原理的層面對適用于異常檢測的大數據分析算法做了詳細介紹,然后介紹大類數據分析的兩大思路,即告警驅動的分析方法和數據驅動的分析方法。舉例說明如何利用前述的分析算法和分析思路獲得期望的分析結果。
課程收益
通過學習,使學員了解大(da)(da)數據(ju)的概念和特征、如何(he)將大(da)(da)數據(ju)分析(xi)方(fang)法用(yong)于安(an)全分析(xi)、如何(he)從大(da)(da)數據(ju)中發現(xian)(xian)異(yi)常行為和攻擊事件、如何(he)發現(xian)(xian)未知攻擊和異(yi)常、如何(he)發現(xian)(xian)未感知的攻擊和異(yi)常。
課程大綱
第一章 大數據分析概述
介紹大數據的概念和特征,面向安全的大數據分析的目的是希望從大數據中分析出異常行為或攻擊事件,尤其是未知且未感知的攻擊和異常。
1、大數據(Big data)的前世今生
假如我們有了一個數據預報臺,就像為企業裝上了一個GPS和雷達,企業的出海將會更有把握。——馬云2012年網商大會演講
2、大數據的4V特征
. 1V-Volume,數據體量巨大。從TB級別,躍升到PB級別
. 2V- Variety,數據類型繁多。網絡日志、圖片、視頻、地理位置信息、購物等等
. 3V- Value,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅一兩秒
. 4V- Velocity, 處理速度快。1秒定律。這一點和傳統的data mining有著本質不同
3、大數據的價值
. 縱向:消費者、企業與價值鏈
. 橫向:“大交易數據”(比如支付寶的交易數據)和“大交互數據”(比如一些社交網站,移動互聯網新媒體等)
. 兩類數據融合:容易洞察“客戶足跡”,掌控消費趨勢、開發創新產品和推進*營銷
第二章 適用于異常檢測的大數據分析算法原理
1、經典統計方法
. 組合優化
. EM優化
2、聚類分析算法
例如,我們可以根據各個銀行網點的儲蓄量、人力資源狀況、營業面積、特色功能、網點級別、所處功能區域等因素情況,將網點分為幾個等級,再比較各銀行之間不同等級網點數量對比狀況。
. 直接聚類法
. 最短距離聚類法
. 最遠距離聚類法
3、相似性分析算法
. 檢測效率高
. 相似列表片段
4、關聯分析算法
關聯算法是數據挖掘中的一類重要算法。1993年,R.Agrawal等人首次提出了挖掘顧客交易數據中項目集間的關聯規則問題,其核心是基于兩階段頻繁集思想的遞推算法。該關聯規則在分類上屬于單維、單層及布爾關聯規則,典型的算法是Aprior算法。
5、分類算法
. 決策樹
. 貝葉斯
. K-近鄰
. 基于關聯規則的分類
. 集成學習
6、文本分析
. (I)用映射或變換的方法把原始特征變換為較少的新特征。
. (2)從原始特征中挑選出一些*代表性的特征。
. (3)根據專家的知識挑選最有影響的特征。
. (4)用數學的方法進行選取,找出*分類信息的特征,這種方法是一種比較*的方法,人為因素的干擾較少,尤其適合于文本自動分類挖掘系統的應用。
第三章 面向安全的大數據分析思路
1、可分析數據
. 可靠性數據分析
. 智能數據分析
. 多元統計分析
2、分析的過程
數據是信息的載體,也是今后系統要處理的主要對象。因此,必須對系統調查中所有搜集的數據以及統計處理數據的過程進行分析和整理。如有不清楚的問題,應立刻返回去弄清楚;如發現有數據不全、采集過程不合理、處理過程不暢、數據分析不深入等問題,應在本次分析過程中研究解決。
. 流動
. 變換
. 存貯
3、基于各種期待結果的分析場景
. 黑盒測試
. 測試用例
. 性能測試
總結課程總結
轉載://citymember.cn/gkk_detail/15597.html
已開課(ke)時(shi)間Have start time
- 駱飛
大數據課程內訓
- 大數據提升:用戶體驗提升與 武建(jian)偉(wei)
- 能源電力企業數字化轉型探索 李開東
- 建材門店--微信獲客與運營 武建偉
- 《大數據精益化營銷思維與運 喻國慶
- 《銀行--網絡消費行為與網 武建偉(wei)
- 數據創造價值——大數據分析 張曉如
- 企業區塊鏈技術的應用場景與 李璐
- 大數據項目解決方案及應用 胡(hu)國慶
- 《精細運營——京東/天貓平 武建(jian)偉
- 《流量神器,銷量升級:如何 武建偉
- 數據驅動價值 ——基于Ex 張曉如
- 《大數據分析與客戶開發》 喻國慶