云技術簡單理解,大數據和云計算有什么關系？ _云技術簡單理解

在對大數據與云計算的關系理解之前云技術簡單理解，我們需要對這兩個概念分別進行了解。
大數據指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊，簡單理解就是海量數據的高效處理。
云計算就是硬件資源的虛擬化，云計算相當于我們的計算機和操作系統，將大量的硬件資源虛擬化后再進行分配使用。
本質上看，云計算強調的是計算，而數據則是計算的對象，二者是動與靜的關系，但大數據需要處理數據的能力，比如數據獲取、清潔、轉換、統計等等，而云計算為大數據處理提供了一個很好的平臺，是唯一可行的大數據處理方式，二者是靜中有動，動中有靜。云計算是基礎設施，大數據可以使用云計算的存儲能力來保存數據，計算能力來進行運算。云計算需要大數據，大數據需要云計算，云計算能為大數據提供強大的存儲和計算能力，能夠更加迅速地處理大數據的豐富信息，并更方便地提供服務；而來自大數據的業務需求，能為云計算的實施找到更多更好的實際應用，大數據與云計算相結合，二者相輔相成，相得益彰，互相都能發揮最大的優勢，為社會創造出更大的貢獻。
說到阿里云的技術有多強，我覺得今年拿獎拿到手軟應該算是其實力強勁的一大證明了吧。

文章插圖

文章插圖
我特意查閱了資料，阿里云簡直是被國際權威機構和組織夸了個遍。

文章插圖

文章插圖
此前，Gartner發布了一份中國企業AI案例研究報告。大贊阿里云推動AI技術子在各行業真正落地，給世界提供了重要經驗。

文章插圖

文章插圖
隨后，阿里云又被Forrester評為“國際數字化轉型專家”，成為中國唯一入選的服務廠商。
而后Gartner又公布了2018年全球數據庫魔力象限評選結果，同樣也是有史以來首次有中國科技企業入選該榜，此番阿里云被納入“遠見者象限” 。
同時，在近期Forrester宣布的2018年全球云數據倉庫報告中，阿里云云數據倉庫平臺，
竟然趕超微軟，與Teradata、Genpact等資歷豐富的美國服務廠商一同上榜。
這些第三方權威機構的評獎贊譽足以說明阿里云在國際上的影響力，以及技術的強大。
再來看產品本身，阿里云的ET大腦在全球來看都是耀眼的自研科技，落地城市、工業、農業等各大領域，不斷帶來積極影響。
譬如城市大腦覆蓋杭州共420平方公里，相當于65個西湖大小，可實時指揮200多名交警，不僅調節擁堵情況，還能讓消防隊實現智能救火。而工業大腦也讓中策橡膠、天合光能等制造業龍頭企業增創上千萬的效益。
此外，阿里云不久前在英國成功開服，成為首個覆蓋美國、英國、德國、日本和中國全球最大五個云計算市場的中國廠商，它的全球化進程也代表了其技術實力受到了世界范圍的認可。
我想，這些足以說明阿里云的實力到底有多強了。
云存儲的幾十年發展歷程，其計算架構模型，也從Scale Up走向Scale Out 。但是展望未來數字世界的海量需求，目前流行的模型還能夠持續滿足嗎？本文通過對云存儲歷史的回顧，及對Scale Up和Scale Out兩種擴展模型的詮釋，來揭開云存儲的未來模式。
1. 云存儲及其歷史
簡而言之，云存儲（cloud storage）就是將數字內容安全的存儲在服務器上，從而任何連接互聯網的設備可以方便的獲取。首先讓我們簡單回顧一下云存儲的歷史。
云存儲的早期雛形要回溯到上個世紀的90年代，也就是互聯網泡沫時期（dot-com boom），當時有許多家公司，例如EVault, NetMass, Arkeia和CommVault等等[1]均提供在線數據備份服務，當然它們絕大部分也隨著互聯網泡沫的破碎而煙消云散了。少數幸存下來的有一家叫Veritas NetBackup最后也被Symantec收購，現在依舊提供Symantec NetBackup的在線存儲服務。
而真正讓大家耳熟能詳的云存儲是2006年由Amazon提供的AWS S3云存儲服務，其最具有革命意義的變革是，提出了即買即用（pay-per-use）的價格模型，使得云存儲的使用像水電一樣可計算衡量。從此云存儲以S3為標準一路絕塵，我們所熟悉的大廠，比如Netflix, Pinterest, Dropbox也是S3的顧客。尾隨的Microsoft和Google也于2010年分別發布了類似的Azure Blob Storage和Google Storage的存儲服務。
云存儲真正發展的十幾年中，見證了移動互聯網的崛起，大數據的生機勃發，人工智能的再次復興，并能夠展望到未來物聯網，無人駕駛及各類機器人自動化的世界。海量數據的產生，存儲，分析，預測及應用，快速以正反饋循環方式，推進著人類社會向數字世界大步邁進。所以，為了適應數據存儲新的需求，各家云存儲產品的應用場景及價格模型，已從單一向多元發展，比如AWS S3就有Standard，Intelligent-Tiering，Standard-IA，One Zone-IA，Glacier和Glacier Deep Archive六類存儲產品來滿足各類使用場景，我會在未來的文章里針對性的細講一下。而本文重點所探討的是，目前云存儲的基礎架構體系是否能夠適應未來數據存儲的要求和挑戰？為了回答這個問題，讓我們先簡單回顧一下計算機體系架構里的Scale Up和Scale Out擴展模型。
2. Scale Up和Scale Out？
Scale Up又稱為垂直擴展（scale vertically）[2]，意為在單節點上添加資源，如CPU，內存和存儲，在縱向上擴展從而獲得更多計算或存儲能力；Scale Up初期能夠快速達到升級目的，操作起來相對比較簡單，但隨著計算或存儲的要求越來越高，硬件資源的添加可能已經達到極限，不僅單節點的造價非常昂貴，維護成本很高，而且更容易留下單點故障的隱患。傳統的RAID（Redundant Array of Inexpensive Disks）存儲就是此種模式。
Scale Out又稱為水平擴展（scale horizontally）[2]，意為在分布式環境下，通過添加節點計算或存儲資源，在橫向上滿足更多的計算存儲需求；隨著計算和存儲單位價格的降低和效率的提升，使用低端的商用（commodity）系統，利用分布式技術可以搭建起“超級計算”中心，以及后來衍生出來的私有或公有云平臺解決方案。雖然分布式系統會帶來一定程度上的軟件復雜度和管理困難，但由軟件定義的計算和存儲解決方案，能夠以較低的價格和較高的魯棒性，優雅的解決了海量增長的計算存儲需求，也是目前云平臺的主流技術。但它就一定能夠承載未來的更加海量的需求嗎？云存儲的未來是什么？方向是向左還是向右？
3. 未來向左還是向右？
話說天下大勢, 分久必合, 合久必分，事物發展的規律似乎從來就沒有什么絕對。當下，云平臺內部似乎已完全是Scale Out模式了，但當我們把鏡頭再拉遠一點，從云平臺在全球部署的每一個可用區來看，整體上它又是一個Scale Up模型，不是嗎？單點投入巨大，耗費能源，使用成本高昂。而相反，隨著強大的計算，存儲和帶寬能力能夠進入尋常家庭、工作和生活等邊緣節點，資源閑置或者不均衡使用也變得越來越明顯。
那么，是否能夠將這些邊緣節點的計算存儲能力結合起來，組成一個真正意義上的Scale Out平臺，提供人們日益增長的計算存儲需求？
可否將浪費或者不對等的資源重新組合，提供一個更加節能環保的綠色Scale Out平臺？
可否摒棄中心化的單點故障和數據安全隱患，真正做到廉價高效，零數據泄露的Scale Out平臺？
答案是應該可以而且必須可以！
縱觀云存儲平臺的發展歷史，從單節點的Scale Up模式走向可用區內部的Scale Out模式，又從內部的Scale Out模式走向整體上相對的Scale Up模式。而未來數字世界的海量計算和存儲需求的滿足，一定需要真正意義上的全球Scale Out模型，那就是把邊緣節點和半中心化節點高效且系統的組織起來，減少浪費，提高效率，節省成本，去除中心。將天空中幾塊為數不多的白云，變成漫天遍布的朵朵白云，讓人們自由定價、自由選擇、自由組合。
挑戰雖然巨大，但未來很美好，讓我們一起努力迎接云存儲的明天！
[1]: History of Online Storage
[2]: Wiki Scalability
文章作者：Bruce Lee（總架構師）
轉載請注明出處
如果有關于PPIO的交流，可以通過下面的方式聯系我：
加我微信，注意備注來源
【云技術簡單理解,大數據和云計算有什么關系？】wechat：omnigeeker