大數據在安防行業的應用探索 _知識百科

隨著信息技術的發展，人類已經步入了信息社會，信息技術為人們提供了一種全新的生產和生活方式，并深深地影響著人類社會的政治、經濟、科技等各個領域。數年來，隨著互聯網和信息技術的同步發展，各行各業都積累了大量數據。據全球領先的信息技術研究和咨詢公司Gartner報告，驅動大數據發展的重要因素主要來自兩個方面：一是消費領域，如網購及社交媒體應用產生的大量數據；另一方面來自城市基礎設施建設，安防便是其中之一。
多類型安防數據來襲
在安防行業，涉及的數據信息類型很多，以數據的結構類型來看，包括了各類非結構化、結構化以及半結構化信息。非結構化數據主要指視頻錄像和圖片記錄，如監控視頻錄像，報警錄像，摘要錄像，車輛卡口圖片，人臉抓拍圖片，報警抓拍圖片等；結構化數據則包括報警記錄，系統日志記錄，運維數據記錄，摘要分析結構化描述記錄，以及各種相關的信息數據庫，如人口信息，地理數據信息，車駕管信息等；半結構化數據則如人臉建模數據，指紋記錄等。
這些信息的來源有幾個渠道，一個是安防系統內部產生的信息，如各種視頻錄像，抓拍圖片，系統運維數據，日志記錄，摘要記錄等；另外一些則是通過外部系統采集或者集成，如人口信息，地理數據信息，人臉庫數據，車駕管數據等。這些數據作為一個整體，構成了安防系統或者說安防領域的大數據基礎，并且具有以下特征：最顯著的是安防數據體量巨大并不斷快速膨脹，隨著視頻監控圖像系統的不斷聯網和整合，以及視頻分辨率和幀率的不斷提高，實時視頻數據的存儲已經從TB的級別開始躍升到PB級別；其次，安防數據類型繁多，如上面提到的視頻、圖片、地理位置信息等等，而且隨著各類安防系統以及相關的信息系統的不斷整合，數據類型也會越來越多；另外，安防數據整體蘊含的價值密度低，但是價值高。以視頻監控數據為例，在7*24小時連續不間斷監控過程的中，可能有用的數據僅僅有一兩分鐘，甚至一兩秒。同時，這些信息更新頻率特別快，安防數據每時每刻都在大量的產生，信息每時每刻都在更新。
要從這些少量的信息里快速高效的篩選有效信息，安防廠商需要下面兩個基礎來保證：首先需要提升對非結構化信息的處理能力和效率，準確和快速地處理視頻圖像，人臉特征建模等數據，從里面提取出有用的信息，并且能夠進行信息的某種表述，在大數據的存儲層面上完成數據信息的提取和存儲工作，以便進行后續的數據信息檢索，分析和挖掘業務。其次，通過使用并且針對性的改進目前的大數據處理技術以及平臺框架，提供針對安防數據信息的快速檢索機制，形成有針對性的海量安防數據信息處理架構，從這些大量的結構化和半結構化信息中快速檢索和分析。
大數據在安防行業的應用探索
安防數據目前仍以圖像視頻等非結構化信息為主，所以在大數據的分析和處理上又有其特點，除了常規的信息檢索以外，安防行業更側重于圖形圖像的信息檢索；目前的IT大數據一般側重于分析和檢索文本類數據，因此，對于安防界來說，安防界對于大數據的處理和分析工具主要有兩類，一類是對于視頻圖像等非結構化信息的處理和分析工具，包括視頻智能分析工具，視頻摘要工具，圖像清晰化工具，視頻清晰化工具，視頻轉碼工具，視頻編輯工具等等。另一類則是對于結構化，半結構化信息的大數據分析處理工具，在這方面，安防界吸取了IT界在處理大數據方面的架構和經驗，對于結構化和半結構化的數據可以實現快速和準確的數據分析和挖掘。縱觀整個安防領域，平安城市是規模最大、業務最復雜的龐大系統，涉及治安監控、指揮通信、偵查破案、規范執法、社會服務等多個分區領域，視頻接入規模從幾千到幾十萬，隨著安防監控對高清、智能、聯網的要求越來越高，各地平安城市項目每天產生的數據規模正以驚人的速度不斷增長。
然而，大數據技術在安防各領域的應用并不如在IT、互聯網行業那樣成熟，相關的信息碰撞和挖掘需求也尚未能形成模式。在日漸龐大的數據面前，如何做到對海量視頻數據的綜合應用與精準分析，正是平安城市大數據的痛點，也決定了它需要大數據技術予以支撐。在各類的平安城市建設項目中，依靠大數據分析技術，從海量視頻圖像中提取有效的安防信息，早已成為安防界共識，面對大時據時代的來臨，在數據采集、匯聚、應用領域持續探索，率先推出了業內首套完整的公安圖像信息綜合應用解決方案，方案基于圖像信息綜合應用平臺以及相應的管理與控制軟件，可將多種公安內部及社會面圖像信息資源整合進圖像資源庫，并對各部門、警種關注的音視頻圖像信息進行整理、分類存儲，同時建立索引摘要，便于證據搜索與案件關聯分析，圖像資源庫還具備完善的查詢、信息比對、歸檔和存儲功能，并采取動態管理方式，確保信息的及時、準確、有效，以方便全省資源聯網共享。
在完成大量數據的收集與整理后，整個方案能夠實現視頻數據資源調閱、智能分析應用、網上督察、治安防控、智能交通、圖像偵查研判、信息報送、圖像資源庫等功能，進一步挖掘海量視頻監控數據背后的價值信息，快速反饋信息輔助決策判斷。
以智能交通為例，智能卡口子系統將數據深度挖掘與分析技術引入傳統治安卡口中，植入數套車牌圖偵戰法，通過跟車關聯性分析、路徑關聯性分析、區域數據碰撞分析等數據挖掘功能和實戰應用相結合，對卡口數據的分析尋找其中的規律性，縮小排查范圍、提高公安交警的預警能力和辦案效率。當車輛連續通過多個路口時，系統可以在指定的時間范圍內，根據車牌號碼及車牌顏色，在列表中按照時間先后順序顯示該車輛在此時間段內的所有過車信息，并聯動電子地圖呈現其行車軌跡，從而進行行為自動分析。
在公安辦案過程中，圖像偵查研判子系統因為讓辦案民警從海量數據中得以解放，從而在公安行業倍受推崇。圖像偵查研判子系統按照圖偵研判流程進行數據信息流轉，多種智能圖像處理軟件對視頻圖像進行統一轉碼、摘要處理、視頻剪輯、視頻特征提取、圖像清晰化處理，同時將戰法與流程有機結合，形成一整套的技戰法應用，完成在不同情況下進行案情的快速研判比對分析，讓民警在海量信息中智能定位到關鍵點，最大程度地優化處理結果、縮短視頻分析時間，從而有效的減少人工查看視頻的時間，減少人力投入，以智能化推動案件視頻分析更快發展，為案件的破獲提供重要的方法和依據。
大數據考驗存儲能力
從目前大部分的安防系統架構看，安防大數據的傳輸渠道主要是網絡，一般都采用聯網匯聚，分級存儲的機制，網絡一般為千兆網，存儲也以一般的磁盤陣列存儲為主。為了適應安防信息整合，安防數據分析和信息挖掘的需求，安防系統逐步傾向于互聯、整合，而安防數據信息也逐漸的匯聚和集成，出現了萬兆網絡集中匯聚管理，并且以云存儲作為視頻圖像數據存儲平臺的趨勢。目前，云存儲已成為安防大數據的核心技術，各廠商也在著力提升自己的研發能力。
與傳統的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統。云存儲可以提供類似于磁盤陣列的裸空間服務，也可以提供基于存儲的特定服務。例如云存儲在平安城市系統中可為多個子系統提供存儲服務，包括視頻監控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產生的車輛抓拍圖片等資源的統一存儲。
從應用架構上看，云存儲系統與傳統分布式存儲系統差異并不明顯，其更本質的區別其實體現在內部軟件架構上。云存儲系統采用大規模分布式并行文件系統，以大量的服務器和存儲設備為基礎，構建一個大規模存儲集群，提供上百PB的存儲容量，并能夠在線進行容量的擴充，由此搭建的大容量存儲系統整體成本遠低于傳統存儲架構，并且具有良好的可擴充性和靈活性。
云存儲系統通過元數據和存儲數據分離的非對稱式架構，通過負載均衡和數據并發訪問策略，在普通硬件條件下獲得高達數十Gbps的傳輸速率以及上百PB級的存儲容量，并可根據用戶應用發展的趨勢，適時按需進行在線動態擴展。與單機的文件系統不同，分布式文件系統不是將這些數據放在一塊磁盤上由上層操作系統來管理，而是存放在一個服務器集群上，由集群中的服務器，各盡其責，通力合作，提供整個文件系統的服務。
云存儲系統內置了基于對象數據管理策略，能夠保證在系統局部發生故障時數據的安全性和可靠性，徹底消除存儲系統中的單點故障，結合自動故障探測和快速故障恢復技術，確保用戶的應用持續穩定地運行，同時減少部署和管理的難度。以云存儲系統為例，傳統的存儲設備，通常用RAID方式進行冗余備份，當有硬盤損壞時， RAID重構時間通常要十幾個小時，這期間如果再有硬盤壞掉，數據就無法恢復了，所以維護人員需要在第一時間趕到現場更換硬盤， 7×24小時待命；云存儲采用分布式文件系統，數據的存儲和備份不再依賴單臺設備的能力，有硬盤壞掉時，其余的硬盤將自動進行重構，恢復受損的數據，這只需要十幾分鐘的時間，維護人員只需要定期檢查硬盤的損壞情況，并更換新硬盤即可，維護非常簡單。
機遇與挑戰并存
數據越發龐大，積累的商業信息越多，價值也就越大。以海量、多樣、快速為顯著特征的大數據，不像傳統數據庫的數據那么易于管理和分析，它在為整個IT及通信行業帶來機遇的同時，也提出了更高的要求。
比如安全問題，數據安全是整個IT行業內的難題，在安防領域也不例外， IT領域碰到的安全威脅和各種各樣的破壞和攻擊，在安防領域同樣會遇到。而對于安防領域而言，數據量大，圖像信息蘊含的信息量更多，而且還涉及到個人隱私，公共安全等問題，所以，在系統安全方面更不容忽視，但設備商的相關技術與國家的法律規范不可能是一蹴而就的。
目前安防行業已經一只腳邁入了大數據時代，但是還沒有完全進入。之所以這么說，是因為當前安防系統的數據量的確在不斷膨脹，高清視頻的出現，安防系統聯網和整合的不斷推進，存儲技術和容量的提升，導致數據體量巨大，大數據的特征凸顯，這樣的安防系統注定將是一個大的數據集合體，但是，目前大量的視頻數據仍然是獨立的、零散的。視頻錄像數據散布在各個行業、單位獨立的系統中，沒有發揮達到真正的聯網、共享，業界也沒有形成對數據挖掘、利用的通用方法。
此外，在相關IT基礎設施，視頻圖像信息的智能分析和檢索，安防數據的組織管理、數據分析和挖掘算法的建模和實現，需要全面導入創新的技術。安防企業在做好安防系統和應用的同時，需要加強內功，提高研發能力，加強技術儲備，應對更大數據量帶來的沖擊，提升對大數據的處理和利用能力，特別是目前最為迫切需要提升的視頻智能應用、視頻智能分析的準確度，這些都是安防行業在進入大數據時代前需要解決的問題。