1. 首頁 > 生活經驗 > >

大數據分析工具詳盡介紹&數據分析算法 數據分析算法模型

知識百科經驗分享


數據分析的方法有哪些？② 數據分析為了挖掘更多的問題，并找到原因；
③ 不能為了做數據分析而坐數據分析 。
2、步驟：① 調查研究：收集、分析、挖掘數據
② 圖表分析：分析、挖掘的結果做成圖表
3、常用方法： 利用數據挖掘進行數據分析常用的方法主要有分類、回歸分析、聚類、關聯規則、特征、變化和偏差分析、Web頁挖掘等，它們分別從不同的角度對數據進行挖掘 。①分類 。分類是找出數據庫中一組數據對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數據庫中的數據項映射到某個給定的類別 。它可以應用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業機會 。②回歸分析 ?；貧w分析方法反映的是事務數據庫中屬性值在時間上的特征，產生一個將數據項映射到一個實值預測變量的函數，發現變量或屬性間的依賴關系，其主要研究問題包括數據序列的趨勢特征、數據序列的預測以及數據間的相關關系等 。它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產品生命周期分析、銷售趨勢預測及有針對性的促銷活動等 。③聚類 。聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小 。它可以應用到客戶群體的分類、客戶背景分析、客戶購買趨勢預測、市場的細分等 。④關聯規則 。關聯規則是描述數據庫中數據項之間所存在的關系的規則，即根據一個事務中某些項的出現可導出另一些項在同一事務中也出現，即隱藏在數據間的關聯或相互關系 。在客戶關系管理中，通過對企業的客戶數據庫里的大量數據進行挖掘，可以從大量的記錄中發現有趣的關聯關系，找出影響市場營銷效果的關鍵因素，為產品定位、定價與定制客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據 。⑤特征 。特征分析是從數據庫中的一組數據中提取出關于這些數據的特征式，這些特征式表達了該數據集的總體特征 。如營銷人員通過對客戶流失因素的特征提取，可以得到導致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預防客戶的流失 。⑥變化和偏差分析 。偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結果對期望的偏差等，其目的是尋找觀察結果與參照量之間有意義的差別 。在企業危機管理及其預警中，管理者更感興趣的是那些意外規則 。意外規則的挖掘可以應用到各種異常信息的發現、分析、識別、評價和預警等方面 。⑦Web頁挖掘 。
大數據分析常見的手段有哪幾種?【導讀】眾所周知，伴隨著大數據時代的到來，大數據分析也逐漸出現，擴展開來，大數據及移動互聯網時代，每一個使用移動終端的人無時無刻不在生產數據，而作為互聯網服務提供的產品來說，也在持續不斷的積累數據 。數據如同人工智能一樣，往往能表現出更為客觀、理性的一面，數據可以讓人更加直觀、清晰的認識世界，數據也可以指導人更加理智的做出決策 。隨著大數據的日?；?，為了防止大數據泛濫，所以我們必須要及時采取數據分析，提出有用數據，那大數據分析常見的手段有哪幾種呢?
一、可視化分析
不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求 。可視化可以直觀的展示數據，讓數據自己說話，讓群眾們以更直觀，更易懂的方式了解結果 。
二、數據挖掘算法
數據挖掘又稱數據庫中的知識發現人工智能機式別、統計學、數據庫、可視化技術等,高度自動化地分析企業的數據,做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調整市場策略,減少風險,做出正確的決策 。
那么說可視化是把數據以直觀的形式展現給人看的，數據挖掘就可以說是給機器看的 。集群、分割、孤立點分析還有其他的算法讓我們深入數據內部，挖掘價值 。這些算法不僅要處理大數據的量，也要處理大數據的速度 。
三、預測性分析能力
預測性分析結合了多種高級分析功能，包括特設統計分析、預測性建模、數據挖掘、文本分析、優化、實時評分、機器學習等 。這些工具可以幫助企業發現數據中的模式，并超越當前所發生的情況預測未來進展 。
數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷 。
四、語義引擎
由于非結構化數據的多樣性帶來了數據分析的新的挑戰，需要一系列的工具去解析，提取，分析數據 。語義引擎需要被設計成能夠從“文檔”中智能提取信息 。
五、數據質量和數據管理
數據質量和數據管理是一些管理方面的最佳實踐 。通過標準化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果 。
關于“大數據分析常見的手段有哪幾種?”的內容就給大家介紹到這里了，更多關于大數據分析的相關內容，關注小編，持續更新 。
使用 Excel 展示數據分析的算法 2021年6月16日 近期為了驗證課程測試題，深入了解了下 Excel 數據分析的功能，找到一些有趣的技巧，記錄一下 。
在評估創業點子的盈利性(Profitability evaluation)，繪制上面的表格(考慮TVM - Time Value of Money)，算是基本的操作，即得到連續幾年預估的收益情況 。其中，投資回收期(Payback period)的計算，是評估盈利性的指標之一，也就是看在開始后未來某個時間點收回投資的時間點 。
以前，都是眼睛看出來第5年中的某個點，然后手工完成計算：
這次就想能否自動計算，也就需要知道
為簡便，將 "Cumulative Value" 列中有多少行的數值低于投資 單獨設了一個單元格 - 即payback-period上面的4，表達式就是 =COUNTIF(E2:E6,"< "&(A8)&" ")。其中，A8 是投資額的單元格 。
那么，payback-period 右側的單元格的計算公式就是： =COUNTIF(E2:E6,"< "&(A8)&" ")+(A8-INDIRECT("E"&(M9+1)))/INDIRECT("D"&(M9+2))。其中的 INDIRECT("E"&(M9+1)) 和 INDIRECT("D"&(M9+2)) 也就是對E5和D6單元格的引用 。
這個網頁可以看看
在課程中梳理了統計學(基礎部分)，其實也就是圍繞 4個分布 計算給定 置信度 的 置信區間 ，進而進行推斷的過程 。比如，下面的圖就展示了所謂的ANOVA (Analysis of Variance: 方差分析)的計算，最后就要借助 F分布 來計算置信區間的邊界值 - 即 CI 對應的單元格 。
CI 單元格的計算公式是 =FINV(C6,C5-1,C4-C5) ，其中的 FINV() 就是計算F分布置信區間邊界值的函數 。在得到置信區間邊界值后，因為樣本數據得到的 F值(5.398)大于邊界值 (是SPE事件 - Small Probability Event)，意味著我們有理由相信 不同設計方案對銷售沒有影響的假設 有可能是有問題的 。
其他3個分布的置信區間邊界值函數如下：
當然，也有直接得到置信區間的函數 -= CONFIDENCE()-
為驗證K-means 聚類算法，就需要計算數據到固定點的距離 。如上圖中B和C列展示了5條數據，初始的質心是 M1和 M2，就需要計算那5條數據到 M1、M2的距離 - Dist-M1和Dist-M2 。自然希望完成了一條數據的距離計算，直接拖拽來完成其他數據的距離計算，這就需要M1和M2的數據在計算中不能因為拖拽而改變 。
I3 單元格保存了數據A到M1的距離，計算公式為=SQRT(POWER(B3-$F$3,2)+POWER(C3-$G$3,2)) ，其中的 $F$3 和 $G$3 就是固定了的，當拖拽I3來計算I列其他數據到M1的距離時，$F$3 和 $G$3 都是固定的，沒有被$ 符號包圍的就隨之改變了，也就完成了其他數據到M1的距離計算 。
另外一個就是希望能夠根據數據距離M1和M2的遠近自動以不同的顏色顯示類別歸屬信息，即上圖中K和N兩列 - 兩種顏色是根據距離的差異自動顯示的 。為此，需要使用Excel的 條件格式
如上圖進行設定，然后拖拽刷新該列其他的單元格 。
要注意，以上只是設定了一個顏色 -<= 0。
按照同樣的步驟，再建一個 格式規則(此次是> 0 )，并指定不同的顏色，再次刷新其他的單元格，顏色就自動出現了 。
其他列類似處理即可 。
在K-means計算中，按照質心更新類別后，還需要計算新的質心，也就需要借助更新后的類別來計算新質心的坐標 。
【大數據分析工具詳盡介紹&數據分析算法 數據分析算法模型】 如上圖，在初始的M1和M2聚類后，K列 展示了按照初始M1和M2的聚類，那么，下一個循環就需要按照更新的聚類信息計算新的質心 。I12 單元格計算了新的M1的X坐標，計算公式為=SUMIF(K3:K9,"<=0",B3:B9)/COUNTIF(K3:K9,"<=0")。其中的 SUMIF(K3:K9,"<=0",B3:B9) 就是按照K3:K9 列中滿足"<=0" 的行，將 B3:B9 中對應的行上的單元格數據相加 。效果就是基于A和B兩條數據計算新M1的坐標 - 因為按照初始的M1和M2值，A和B離初始的M1更近 。
數據分析技術方法有哪些?1.可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對于大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了 。

2.數據挖掘算法

大數據分析的理論核心就是數據挖掘算法，各種數據挖掘的算法基于不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入數據內部，挖掘出公認的價值 。另外一個方面也是因為有這些數據挖掘的算法才能更快速的處理大數據，如果一個算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了 。

3.預測性分析

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之后便可以通過模型帶入新的數據，從而預測未來的數據 。

4.語義引擎

非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據 。語義引擎需要設計到有足夠的人工智能以足以從數據中主動地提取信息 。

5.數據質量和數據管理

大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值 。
大數據分析工具詳盡介紹&數據分析算法大數據分析工具詳盡介紹&數據分析算法
1、 Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架 。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的 。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理 。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度 。Hadoop 還是可伸縮的，能夠處理 PB 級數據 。此外，Hadoop 依賴于社區服務器，因此它的成本比較低，任何人都可以使用 。
Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺 。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序 。它主要有以下幾個優點：
⒈高可靠性 。Hadoop按位存儲和處理數據的能力值得人們信賴 。
⒉高擴展性 。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中 。
⒊高效性 。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非?？?。
⒋高容錯性 。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配 。
Hadoop帶有用 Java 語言編寫的框架，因此運行在 Linux 生產平臺上是非常理想的 。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++ 。
2、 HPCC
HPCC，High Performance Computing and Communications（高性能計算與通信）的縮寫 。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題 。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟件，以支持太位級網絡傳輸性能，開發千兆 比特網絡技術，擴展研究和教育機構及網絡連接能力 。
該項目主要由五部分組成：
1、高性能計算機系統（HPCS），內容包括今后幾代計算機系統的研究、系統設計工具、先進的典型系統及原有系統的評價等；
2、先進軟件技術與算法（ASTA），內容有巨大挑戰問題的軟件支撐、新算法設計、軟件分支與工具、計算計算及高性能計算研究中心等；
3、國家科研與教育網格（NREN），內容有中接站及10億位級傳輸的研究與開發；
4、基本研究與人類資源（BRHR），內容有基礎研究、培訓、教育及課程教材，被設計通過獎勵調查者-開始的，長期 的調查在可升級的高性能計算中來增加創新意識流，通過提高教育和高性能的計算訓練和通信來加大熟練的和訓練有素的人員的聯營，和來提供必需的基礎架構來支 持這些調查和研究活動；
5、信息基礎結構技術和應用（IITA ），目的在于保證美國在先進信息技術開發方面的領先地位 。
3、 Storm
Storm是自由的開源軟件，一個分布式的、容錯的實時計算系統 。Storm可以非?？煽康奶幚睚嫶蟮臄祿?，用于處理Hadoop的批量數據 。Storm很簡單，支持許多種編程語言，使用起來非常有趣 。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等 。
Storm有許多應用領域：實時分析、在線機器學習、不停頓的計算、分布式RPC（遠過程調用協議，一種通過網絡從遠程計算機程序上請求服務）、 ETL（Extraction-Transformation-Loading的縮寫，即數據抽取、轉換和加載）等等 。Storm的處理速度驚人：經測 試，每個節點每秒鐘可以處理100萬個數據元組 。Storm是可擴展、容錯，很容易設置和操作 。
4、 Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟件基金會近日發起了一項名為“Drill”的開源項目 。Apache Drill 實現了 Google’s Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟件工程師持續推廣 。
該項目將會創建出開源版本的谷歌Dremel Hadoop工具（谷歌使用該工具來為Hadoop數據分析工具的互聯網應用提速） 。而“Drill”將有助于Hadoop用戶實現更快查詢海量數據集的目的 。
“Drill”項目其實也是從谷歌的Dremel項目中獲得靈感：該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等 。
通過開發“Drill”Apache開源項目，組織機構將有望建立Drill所屬的API接口和靈活強大的體系架構，從而幫助支持廣泛的數據源、數據格式和查詢語言 。
5、 RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術 。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價 。
功能和特點
免費提供數據挖掘技術和庫
100%用Java代碼（可運行在操作系統）
數據挖掘過程簡單，強大和直觀
內部XML保證了標準化的格式來表示交換數據挖掘過程
可以用簡單腳本語言自動進行大規模進程
多層次的數據視圖，確保有效和透明的數據
圖形用戶界面的互動原型
命令行（批處理模式）自動大規模應用
Java API（應用編程接口）
簡單的插件和推廣機制
強大的可視化引擎，許多尖端的高維數據的可視化建模
400多個數據挖掘運營商支持
耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘 。
6、 Pentaho BI
Pentaho BI 平臺不同于傳統的BI 產品，它是一個以流程為中心的，面向解決方案（Solution）的框架 。其目的在于將一系列企業級BI產品、開源軟件、API等等組件集成起來，方便商務智能應用的開發 。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案 。
Pentaho BI 平臺，Pentaho Open BI 套件的核心架構和基礎，是以流程為中心的，因為其中樞控制器是一個工作流引擎 。工作流引擎使用流程定義來定義在BI 平臺上執行的商業智能流程 。流程可以很容易的被定制，也可以添加新的流程 。BI 平臺包含組件和報表，用以分析這些流程的性能 。目前，Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等 。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術集成到Pentaho平臺中來 。Pentaho的發行，主要以Pentaho SDK的形式進行 。
Pentaho SDK共包含五個部分：Pentaho平臺、Pentaho示例數據庫、可獨立運行的Pentaho平臺、Pentaho解決方案示例和一個預先配制好的 Pentaho網絡服務器 。其中Pentaho平臺是Pentaho平臺最主要的部分，囊括了Pentaho平臺源代碼的主體；Pentaho數據庫為 Pentaho平臺的正常運行提供的數據服務，包括配置信息、Solution相關的信息等等，對于Pentaho平臺來說它不是必須的，通過配置是可以用其它數據庫服務取代的；可獨立運行的Pentaho平臺是Pentaho平臺的獨立運行模式的示例，它演示了如何使Pentaho平臺在沒有應用服務器支持的情況下獨立運行；
Pentaho解決方案示例是一個Eclipse工程，用來演示如何為Pentaho平臺開發相關的商業智能解決方案 。
Pentaho BI 平臺構建于服務器，引擎和組件的基礎之上 。這些提供了系統的J2EE 服務器，安全，portal，工作流，規則引擎，圖表，協作，內容管理，數據集成，分析和建模功能 。這些組件的大部分是基于標準的，可使用其他產品替換之 。
7、 SAS Enterprise Miner
§ 支持整個數據挖掘過程的完備工具集
§ 易用的圖形界面,適合不同類型的用戶快速建模
§ 強大的模型管理和評估功能
§ 快速便捷的模型發布機制, 促進業務閉環形成
數據分析算法
大數據分析主要依靠機器學習和大規模計算 。機器學習包括監督學習、非監督學習、強化學習等，而監督學習又包括分類學習、回歸學習、排序學習、匹配學習等（見圖1） 。分類是最常見的機器學習應用問題，比如垃圾郵件過濾、人臉檢測、用戶畫像、文本情感分析、網頁歸類等，本質上都是分類問題 。分類學習也是機器學習領域，研究最徹底、使用最廣泛的一個分支 。
最近、Fernández-Delgado等人在JMLR（Journal of Machine Learning Research，機器學習頂級期刊）雜志發表了一篇有趣的論文 。他們讓179種不同的分類學習方法（分類學習算法）在UCI 121個數據集上進行了“大比武”（UCI是機器學習公用數據集，每個數據集的規模都不大） 。結果發現Random Forest（隨機森林）和SVM（支持向量機）名列第一、第二名，但兩者差異不大 。在84.3%的數據上、Random Forest壓倒了其它90%的方法 。也就是說，在大多數情況下，只用Random Forest 或 SVM事情就搞定了 。
KNN
K最近鄰算法 。給定一些已經訓練好的數據，輸入一個新的測試數據點，計算包含于此測試數據點的最近的點的分類情況，哪個分類的類型占多數，則此測試點的分類與此相同，所以在這里,有的時候可以復制不同的分類點不同的權重 。近的點的權重大點，遠的點自然就小點 。詳細介紹鏈接
Naive Bayes
樸素貝葉斯算法 。樸素貝葉斯算法是貝葉斯算法里面一種比較簡單的分類算法，用到了一個比較重要的貝葉斯定理，用一句簡單的話概括就是條件概率的相互轉換推導 。詳細介紹鏈接
樸素貝葉斯分類是一種十分簡單的分類算法，叫它樸素貝葉斯分類是因為這種方法的思想真的很樸素，樸素貝葉斯的思想基礎是這樣的：對于給出的待分類項，求解在此項出現的條件下各個類別出現的概率，哪個最大，就認為此待分類項屬于哪個類別 。通俗來說，就好比這么個道理，你在街上看到一個黑人，我問你你猜這哥們哪里來的，你十有八九猜非洲 。為什么呢？因為黑人中非洲人的比率最高，當然人家也可能是美洲人或亞洲人，但在沒有其它可用信息下，我們會選擇條件概率最大的類別，這就是樸素貝葉斯的思想基礎 。
SVM
支持向量機算法 。支持向量機算法是一種對線性和非線性數據進行分類的方法，非線性數據進行分類的時候可以通過核函數轉為線性的情況再處理 。其中的一個關鍵的步驟是搜索最大邊緣超平面 。詳細介紹鏈接
Apriori
Apriori算法是關聯規則挖掘算法，通過連接和剪枝運算挖掘出頻繁項集，然后根據頻繁項集得到關聯規則，關聯規則的導出需要滿足最小置信度的要求 。詳細介紹鏈接
PageRank
網頁重要性/排名算法 。PageRank算法最早產生于Google,核心思想是通過網頁的入鏈數作為一個網頁好快的判定標準，如果1個網頁內部包含了多個指向外部的鏈接，則PR值將會被均分，PageRank算法也會遭到LinkSpan攻擊 。詳細介紹鏈接
RandomForest
隨機森林算法 。算法思想是決策樹+boosting.決策樹采用的是CART分類回歸數,通過組合各個決策樹的弱分類器,構成一個最終的強分類器,在構造決策樹的時候采取隨機數量的樣本數和隨機的部分屬性進行子決策樹的構建,避免了過分擬合的現象發生 。詳細介紹鏈接
Artificial Neural Network
“神經網絡”這個詞實際是來自于生物學，而我們所指的神經網絡正確的名稱應該是“人工神經網絡（ANNs）” 。
人工神經網絡也具有初步的自適應與自組織能力 。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求 。同一網絡因學習方式及內容不同可具有不同的功能 。人工神經網絡是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平 。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標準進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特征和規律性，具有更近似人腦的功能 。
數據分析架構及方法數據分析架構及方法
一、以往的數據分析在今天的各類型企業中，數據分析崗位已經基本得到普及和認可，這個崗位的核心任務往往是支撐運營和營銷，將企業內部的數據，客戶的數據進行分析和總結，形成以往工作情況的量化表現，以及客戶的行為趨勢或特征等 。
如果從更宏觀的角度來認識數據分析崗位的話，每一個數據分析人員都明白，其實數據分析崗位要達到的目標就是希望通過數據來發現潛在的規律，進而幫助預測未來，這一點同數據挖掘的目標一致 。那么為什么在大多數公司都已經具備的數據分析崗位基礎上，今天卻還是在反復提到數據挖掘這個概念，我們就需要來看看數據分析都有哪些是沒有做到的內容 。
1數據分散
多數數據分析崗位在公司中的崗位設置是隸屬在單一業務部門中作為一個支撐崗，只有少數的公司是將數據分析作為一個獨立的部門 。其差異性在于，前者的數據分析所能分析的內容僅限于自身部門所輸出的指標，比如投訴部門只看投訴處理過程中的數據，銷售部門只看銷售過程中的數據，一旦涉及到需要將各類指標匯總分析的情況，這種組織架構就會帶來極大的負面影響，由于不同部門具備自己部門指標導出的權限，且與其他部門的配合并不影響績效任務，所以這種跨部門采集數據的過程往往效率奇低 。而數據分析最關鍵的就在于匯集更多的數據和更多的維度來發現規律，所以以往的數據分析多是做最基礎的對比分析以及帕累托分析，少有使用算法來對數據進行挖掘的動作，因為越少的指標以及越少的維度將會使得算法發揮的效果越差 。
2指標維度少
在以往的企業中，數字化管理更多的體現在日常運維工作中，對于客戶端的數據采集雖然從很早以前就已經開展，CRM系統的誕生已經有很久的時間了，但是一直以來客戶端的數據維度卻十分缺失，其原因在于上述這些途徑所獲得的數據多為客戶與企業產生交互之后到交互結束之間的數據，但是這段時間只是這個客戶日常生活中很少的一部分內容，客戶在微博，微信上的行為特點，關注的領域或是品牌，自身的性格特點等，可以說一個客戶真正的特點，習慣，僅通過與企業的交互是無從知曉的，因此難以挖掘出有效的結論 。
3少使用算法
在上述制約條件下，可想而知數據分析人員對于算法的使用必然是較少的，因為數據分析依賴于大量的指標、維度以及數據量，沒有這三個條件是難以發揮算法的價值的，而在排除掉算法后，數據分析人員更多的只能是針對有限的數據做最為簡單的分析方法，得出淺顯易懂的分析結論，為企業帶來的價值則可以想象 。
4數據分析系統較弱目前的數據分析多采用excel，部分數據分析人員能夠使用到R或SPSS等軟件，但當數據量達到TB或PB單位級別時，這些軟件在運算時將會消耗大量時間，同時原始的數據庫系統在導出數據時所花費的時間也是相當長的，因此對大數據量的分析工作，常規的系統支撐難以到達要求 。
二、技術革命與數據挖掘
得益于互聯網對于人們生活的影響逐漸增大，我們發現數據正在瘋狂的增長 。今天一個人一天的時間中有將近一半是在互聯網中度過的，一方面這些使用互聯網的交互都是能夠被捕捉記錄的，一方面由于碎片化時間的使用，客戶與企業交互的機會也變的越來越頻繁，進一步保障了客戶數據的豐富 。同時在大數據技術的支撐下，今天的系統能夠允許對這些大規模的數據量進行高效的分析 。
因此數據分析人員也能夠開始使用一些較為抽象的算法來對數據做更為豐富的分析 。所以數據分析正式進入到了數據分析2.0的時代，也就是數據挖掘的時代了 。
三、數據處理流程
數據分析也即是數據處理的過程，這個過程是由三個關鍵環節所組成：數據采集，數據分析方法選取，數據分析主題選擇 。這三個關鍵環節呈現金字塔形，其中數據采集是最底層，而數據分析主題選擇是最上層 。
四、數據采集
數據采集即是如何將數據記錄下來的環節 。在這個環節中需要著重說明的是兩個原則，即全量而非抽樣，以及多維而非單維 。今天的技術革命和數據分析2.0主要就是體現在這個兩個層面上 。
1全量而非抽樣由于系統分析速度以及數據導出速度的制約，在非大數據系統支撐的公司中，做數據分析的人員也是很少能夠做到完全全量的對數據進行收集和分析 。在未來這將不再成為問題 。
2多維而非單維另一方面則在于數據的維度上，這在前邊同樣提及 。總之針對客戶行為實現5W1H的全面細化，將交互過程的什么時間、什么地點、什么人、因為什么原因、做了什么事情全面記錄下來，并將每一個板塊進行細化，時間可以從起始時間、結束時間、中斷時間、周期間隔時間等細分；地點可以從地市、小區、氣候等地理特征、渠道等細分；人可以從多渠道注冊賬號、家庭成員、薪資、個人成長階段等細分；原因可以從愛好、人生大事、需求層級等細分；事情可以從主題、步驟、質量、效率等細分 。通過這些細分維度，增加分析的多樣性，從而挖掘規律 。
五、數據分析方法選取數據分析方法是通過什么方法去組合數據從而展現規律的環節 。從根本目的上來說，數據分析的任務在于抽象數據形成有業務意義的結論 。因為單純的數據是毫無意義的，直接看數據是沒有辦法發現其中的規律的，只有通過使用分析方法將數據抽象處理后，人們才能看出隱藏在數據背后的規律 。
數據分析方法選取是整個數據處理過程的核心，一般從分析的方法復雜度上來講，我將其分為三個層級，即常規分析方法，統計學分析方法跟自建模型 。我之所以這樣區分有兩個層面上的考慮，分別是抽象程度以及定制程度 。
其中抽象程度是說，有些數據不需要加工，直接轉成圖形的方式呈現出來，就能夠表現出業務人員所需要的業務意義，但有些業務需求，直接把數據轉化成圖形是難以看出來的，需要建立數據模型，將多個指標或一個指標的多個維度進行重組，最終產生出新的數據來，那么形成的這個抽象的結果就是業務人員所需要的業務結論了 。基于這個原則，可以劃分出常規分析方法和非常規分析方法 。
那么另一個層面是定制程度，到今天數學的發展已經有很長的時間了，其中一些經典的分析方法已經沉淀，他們可以通用在多用分析目的中，適用于多種業務結論中，這些分析方法就屬于通用分析方法，但有些業務需求確實少見，它所需要的分析方法就不可能完全基于通用方法，因此就會形成獨立的分析方法，也就是專門的數學建模，這種情況下所形成的數學模型都是專門為這個業務主題定制的，因此無法適用于多個主題，這類分析方法就屬于高度定制的，因此基于這一原則，將非常規分析方法細分為統計學分析方法和自建模型類 。
1常規分析方法常規分析方法不對數據做抽象的處理，主要是直接呈現原始數據，多用于針對固定的指標、且周期性的分析主題 。直接通過原始數據來呈現業務意義，主要是通過趨勢分析和占比分析來呈現，其分析方法對應同環比及帕累托分析這兩類 。同環比分析，其核心目的在于呈現本期與往期之間的差異，如銷售量增長趨勢；而帕累托分析則是呈現單一維度中的各個要素占比的排名，比如各個地市中本期的銷售量增長趨勢的排名，以及前百分之八十的增長量都由哪幾個地市貢獻這樣的結論 。常規分析方法已經成為最為基礎的分析方法，在此也不詳細介紹了 。
2統計學分析方法統計學分析方法能夠基于以往數據的規律來推導未來的趨勢，其中可以分為多種規律總結的方式 。根據原理多分為以下幾大類，包括有目標結論的有指導學習算法，和沒有目標結論的無指導學習算法，以及回歸分析 。
其中有指導的學習算法簡單說就是有歷史數據里邊已經給出一個目標結論，然后分析當各個變量達到什么情況時，就會產生目標結論 。比如我們想判斷各項指標需要達到什么水平時我們才認定這個人患有心臟病的話，就可以把大量的心臟病人的各項指標數據和沒有心臟病的正常人的各項指標數據都輸入到系統中，目標結論就是是否有心臟病，變量就是各項指標數據，系統根據這些數據算出一個函數，這個函數能夠恰當的描述各個指標的數據與最終這個是否是心臟病人之間的關系，也就是當各個指標達到什么臨界值時，這個人就有心臟病的判斷，這樣以后再來病人，我們就可以根據各項指標的臨界值 。這個案例中的函數就是算法本身了，這其中的算法邏輯有很多種，包括常見的貝葉斯分類、決策樹、隨機森林樹以及支持向量機等，有興趣的朋友可以在網上看看各種算法的邏輯是怎么樣的 。
另外無指導的學習算法因為沒有一個給定的目標結論，因此是將指標之中所有有類似屬性的數據分別合并在一起，形成聚類的結果 。比如最經典的啤酒與尿布分析，業務人員希望了解啤酒跟什么搭配在一起賣會更容易讓大家接受，因此需要把所有的購買數據都放進來，然后計算后，得出其他各個商品與啤酒的關聯程度或者是距離遠近，也就是同時購買了啤酒的人群中，都有購買哪些其他的商品，然后會輸出多種結果，比如尿布或者牛肉或者酸奶或者花生米等等，這每個商品都可以成為一個聚類結果，由于沒有目標結論，因此這些聚類結果都可以參考，之后就是貨品擺放人員嘗試各種聚類結果來看效果提升程度 。在這個案例中各個商品與啤酒的關聯程度或者是距離遠近就是算法本身了，這其中的邏輯也有很多中，包括Apriori等關聯規則、聚類算法等 。
另外還有一大類是回歸分析，簡單說就是幾個自變量加減乘除后就能得出因變量來，這樣就可以推算未來因變量會是多少了 。比如我們想知道活動覆蓋率、產品價格、客戶薪資水平、客戶活躍度等指標與購買量是否有關系，以及如果有關系，那么能不能給出一個等式來，把這幾個指標的數據輸入進去后，就能夠得到購買量，這個時候就需要回歸分析了，通過把這些指標以及購買量輸入系統，運算后即可分別得出，這些指標對購買量有沒有作用，以及如果有作用，那么各個指標應該如何計算才能得出購買量來 ?；貧w分析包括線性及非線性回歸分析等算法 。
統計學分析方法還有很多，不過在今天多用上述幾大類分析方法，另外在各個分析方法中，又有很多的不同算法，這部分也是需要分析人員去多多掌握的 。
3自建模型自建模型是在分析方法中最為高階也是最具有挖掘價值的，在今天多用于金融領域，甚至業界專門為這個人群起了一個名字叫做寬客，這群人就是靠數學模型來分析金融市場 。由于統計學分析方法所使用的算法也是具有局限性的，雖然統計學分析方法能夠通用在各種場景中，但是它存在不精準的問題，在有指導和沒有指導的學習算法中，得出的結論多為含有多體現在結論不精準上，而在金融這種錙銖必較的領域中，這種算法顯然不能達到需求的精準度，因此數學家在這個領域中專門自建模型，來輸入可以獲得數據，得出投資建議來 。在統計學分析方法中，回歸分析最接近于數學模型的，但公式的復雜程度有限，而數學模型是完全自由的，能夠將指標進行任意的組合，確保最終結論的有效性 。
六、數據分析主題選取
在數據分析方法的基礎上，進一步是將分析方法應用在業務需求中，基于業務主題的分析可以涉及太多的領域，從客戶的參與活動的轉化率，到客戶的留存時長分析，再到內部的各環節銜接的及時率和準確度等等，每一種都有獨特的指標和維度的要求，以及分析方法的要求，以我個人的經驗來看，主要分析主題都是圍繞著營銷、運營、客戶這三大角度來開展的 。
1營銷/運營分析營銷運營分析多從過程及最終的成效上來進行分析，包括營銷活動從發布到客戶產生購買的過程的分析，運營從客戶開始使用到停止使用為止的過程中的分析，前者更傾向于分析客戶行為的變動趨勢，以及不同類型的客戶之間的行為差異，后者更傾向于分析在過程中服務的及時率和有效率，以及不同類型的客戶之間對于服務需求的差異 。
在針對這部分分析主題時，多采用常規分析方法，通過同環比以及帕累托來呈現簡單的變動規律以及主要類型的客戶，但通過統計學分析方法，營銷分析可以根據有指導的學習算法，得出營銷成功與營銷失敗之間的客戶特征的差異，而運營分析則可以根據無指導的學習算法，得出哪些特征的客戶對哪些服務是有突出的需求的，另外營銷和運營分析都可以通過回歸分析來判斷，各項績效指標中，哪些指標是對購買以及滿意度有直接影響的 。通過這些深入的挖掘，可以幫助指導營銷及運營人員更好的完成任務 。
2客戶分析客戶分析除了與營銷和運營數據關聯分析時候使用，另外單獨對于客戶特征的分析也是有很大價值的 。這一部分分析更多需要通過統計學分析方法中的有指導和無指導的學習算法，一方面針對高價值客戶，通過有指導的學習算法，能夠看到哪些特征能夠影響到客戶的價值高低，從而為企業鎖定目標客戶提供指導；另一方面針對全體客戶，通過無指導的學習算法，能夠看到客戶可以大概分為哪幾種群落，針對每個群落的客戶展開焦點討論和情景觀察，從而挖掘不同群落客戶之間的需求差異，進而為各個群落的客戶提供精準營銷服務 。通過以上這些的操作，一個企業的數據分析或者說數據挖掘工作的完整流程就呈現了出來 ?？梢钥吹?，無論是數據采集，還是分析方法，亦或是分析主題，在大數據和互聯網的支撐基礎上，在未來都將有大幅度的增加，數據分析人員將成為下一個階段的關鍵企業支撐人員，也即是在未來，在各個領域中，都將產生大量的寬客，或者增長黑客這樣的數據分析人員，來帶動企業的發展 。
關于數據分析算法和數據分析算法模型的內容就分享到這兒！更多實用知識經驗，盡在 m.apearl.cn