信息技術(shù)不斷進(jìn)步悔邀，閃存循抱、磁盤、數(shù)據(jù)中心丰扁、DNA等各種新的存儲(chǔ)技術(shù)不斷出現(xiàn)帘达。可即便如此纽哭，仍難以滿足日漸龐大的數(shù)據(jù)體量的存儲(chǔ)需求栏蝙，加之IoT（物聯(lián)網(wǎng)）行業(yè)的發(fā)展，致使數(shù)據(jù)的體量更為驚人蚕泽。不可否認(rèn)晌梨，這些數(shù)據(jù)中許多都蘊(yùn)含著價(jià)值，但也不能忽視數(shù)據(jù)的驚人體量须妻。難道到2020年我們要將44ZB的數(shù)據(jù)全部記錄并存儲(chǔ)下來嗎仔蝌？因此，我們需要用云計(jì)算技術(shù)對(duì)數(shù)據(jù)進(jìn)行智能分析荒吏。今天就來探討2017年安防云計(jì)算核心技術(shù)敛惊。

    大規(guī)模混合計(jì)算技術(shù)

    監(jiān)控系統(tǒng)產(chǎn)生的大量視頻圖像數(shù)據(jù)如果只靠人工來進(jìn)行處理绰更，效率會(huì)非常低瞧挤，借助于視頻智能化處理算法，已經(jīng)可以從視頻圖像數(shù)據(jù)中獲取一些簡單的特征進(jìn)行比對(duì)儡湾，或者進(jìn)行模式匹配產(chǎn)生報(bào)警事件特恬，提高了處理的效率。這種方式能夠處理的數(shù)據(jù)量徐钠，數(shù)據(jù)組合的程度癌刽，數(shù)據(jù)的類型等等都還處于較低的水平，無法應(yīng)對(duì)海量數(shù)據(jù)和日益增長的需求寥伍。大規(guī)模計(jì)算技術(shù)的目的就是為了提供一種統(tǒng)一的數(shù)據(jù)處理平臺(tái)虑治，上面可以集成各種智能化算法和計(jì)算模型，綜合處理海量監(jiān)控?cái)?shù)據(jù)撼腹，以更快的速度得到更有價(jià)值的數(shù)據(jù)前茧。    

    統(tǒng)一資源管理技術(shù)

    監(jiān)控系統(tǒng)產(chǎn)生的主要數(shù)據(jù)就是視頻和圖像數(shù)據(jù)玄饶，原始數(shù)據(jù)經(jīng)過處理后，會(huì)產(chǎn)生更豐富的數(shù)據(jù)丰浙，處理的方式也會(huì)有很大不同李腐。比如對(duì)于歷史視頻數(shù)據(jù)可以在后臺(tái)處理的視頻數(shù)據(jù)檢索，對(duì)于卡口的車牌和人臉特征數(shù)據(jù)需要實(shí)時(shí)布控袄映，對(duì)歷史卡口信息需要做到實(shí)時(shí)檢索憎苦。這些數(shù)據(jù)都需要不同的計(jì)算框架進(jìn)行處理，通過引入統(tǒng)一的資源管理平臺(tái)泽姨，可以在同一個(gè)資源池里運(yùn)行不同的計(jì)算框架叁震，大幅提高資源的利用率，同時(shí)在資源被某種業(yè)務(wù)獨(dú)占時(shí)敲坏，又能最大限度的發(fā)揮系統(tǒng)的性能窘问。

    實(shí)時(shí)檢索技術(shù)

    傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)都采用關(guān)系型數(shù)據(jù)庫進(jìn)行保存，通過RAC等技術(shù)形成數(shù)據(jù)庫集群宜咒，通過索引方式進(jìn)行加速惠赫，但是核心還是基于行存儲(chǔ)和關(guān)系運(yùn)算，面對(duì)海量記錄時(shí)在各個(gè)方面都已經(jīng)遇到了瓶頸故黑。實(shí)時(shí)檢索技術(shù)通過引入分布式數(shù)據(jù)庫儿咱，列式存儲(chǔ)，內(nèi)存計(jì)算场晶，索引引擎等技術(shù)混埠，能應(yīng)對(duì)100億級(jí)別的結(jié)構(gòu)化數(shù)據(jù)，在存儲(chǔ)容量诗轻，可擴(kuò)展性钳宪，檢索速度等多個(gè)方面都可以得到大幅提升。該系統(tǒng)在智能交通扳炬、刑事偵查等視頻監(jiān)控領(lǐng)域具備重要的研究價(jià)值和廣闊的應(yīng)用前景使套。

    復(fù)雜事件處理技術(shù)

    隨著安防行業(yè)的發(fā)展，業(yè)務(wù)變的也來越復(fù)雜鞠柄，比如智能交通領(lǐng)域，出現(xiàn)了車輛積分研判尺夺、套牌車分析烧论、同行車分析等需求。這些需求存在產(chǎn)生結(jié)果所依賴的條件多舒叨、處理過程實(shí)時(shí)性的要求高旋挺、需要處理的數(shù)據(jù)量巨大等特點(diǎn)。傳統(tǒng)的方式是采用關(guān)系數(shù)據(jù)庫滔测，通過復(fù)雜的SQL語句組合责爹，不斷查詢比對(duì)的方式谊弯，很難滿足實(shí)時(shí)性的要求。復(fù)雜事件處理通過引入流式計(jì)算等技術(shù)牧僻，動(dòng)態(tài)地對(duì)輸入數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析霍鹿，處理速度可以大幅提供。不符合條件的數(shù)據(jù)都被丟棄掉臊整，系統(tǒng)中只存在處理的結(jié)果或者可能有用的中間數(shù)據(jù)障漓，這樣對(duì)存儲(chǔ)的要求也變小了，完全在內(nèi)存中進(jìn)行全過程的分析蛔琅，實(shí)時(shí)性得到了保證胎许。

    人臉檢索技術(shù)

    人臉檢索的技術(shù)在單臺(tái)服務(wù)器上的應(yīng)用已經(jīng)比較成熟，可以應(yīng)用在身份鑒別罗售、在逃人員抓捕辜窑、可疑人員排查、身份證查重等領(lǐng)域寨躁。人臉檢測過程可以分為以下幾個(gè)階段：視頻或圖像解碼穆碎、人臉檢測、特征提取朽缎、特征比對(duì)惨远，前三個(gè)步驟都是每次請(qǐng)求對(duì)應(yīng)一次計(jì)算，計(jì)算量相對(duì)可控话肖，而最后一個(gè)步驟特征比每次請(qǐng)求則需要和達(dá)億級(jí)的人臉特征進(jìn)行比對(duì)北秽，是運(yùn)算量最大的一個(gè)階段。

    一些實(shí)時(shí)應(yīng)用的請(qǐng)求數(shù)每秒鐘可達(dá)請(qǐng)求數(shù)達(dá)到數(shù)百次最筒，每次人臉比對(duì)次數(shù)可達(dá)百萬級(jí)別時(shí)贺氓，則整個(gè)系統(tǒng)需要支持每秒億級(jí)的人臉特征比對(duì)計(jì)算。如此大規(guī)模的計(jì)算床蜘，單機(jī)上是無法完成的猫单，必須采用集群完成。特征庫本身規(guī)模不大玛呐，但是比對(duì)次數(shù)很大朗猖，屬于典型的計(jì)算密集型集群，特征庫可以全部倒入到內(nèi)存冻咆，在內(nèi)存中完成計(jì)算殿膏。

    海量視頻檢索技術(shù)

    圖像傳感器采集到的視頻數(shù)據(jù)保存到后端存儲(chǔ)后，用戶可以隨時(shí)選擇目標(biāo)區(qū)域的多個(gè)攝像頭炮家，提交給視頻檢索集群尘箫，檢索集群按照目標(biāo)物體的特征快速檢索的所有對(duì)應(yīng)攝像頭產(chǎn)生視頻數(shù)據(jù)，找到目標(biāo)物體特征所出現(xiàn)的視頻，并定位到準(zhǔn)確的時(shí)間點(diǎn)呛营。其中主要使用了智能化技術(shù)實(shí)現(xiàn)視頻數(shù)據(jù)到物體特征結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換虱忙，支持車輛顏色，車牌嘲谚，衣著顏色狼楔，人臉等特征￠艽海基于統(tǒng)一的計(jì)算資源池逻淌，實(shí)現(xiàn)智能化算法的并行運(yùn)算，線性提高檢索效率疟暖。

    結(jié)構(gòu)化之后的數(shù)據(jù)可以保存到數(shù)據(jù)庫卡儒，下次檢索可以直接通過結(jié)構(gòu)化數(shù)據(jù)進(jìn)行二次檢索，大幅提高檢索效率俐巴。

    分布式對(duì)象存儲(chǔ)技術(shù)

    安防云在系統(tǒng)架構(gòu)和設(shè)計(jì)上骨望，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實(shí)，采用先進(jìn)的管理思想和軟件系統(tǒng)欣舵，實(shí)現(xiàn)對(duì)大量普通存儲(chǔ)服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合擎鸠，實(shí)現(xiàn)軟硬件故障高度容錯(cuò)，搭建高度穩(wěn)定可靠的存儲(chǔ)集群缘圈。

    系統(tǒng)將控制流與數(shù)據(jù)流分離劣光，以及充分優(yōu)化元數(shù)據(jù)節(jié)點(diǎn)控制系統(tǒng)，使得系統(tǒng)具備極高的性能和良好的線性擴(kuò)展能力糟把。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間绢涡，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負(fù)載均衡到集群內(nèi)的各節(jié)點(diǎn)上堡雁，充分利用集群各節(jié)點(diǎn)性能搀尊，以獲得很好的性能聚合能力以保證系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù)淹疙，提供簡易部署和維護(hù)功能针容。系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術(shù)柴哈，保證較高磁盤利用率的前提下补蛋，提供最佳冗余策略。另外冶巴，系統(tǒng)在節(jié)點(diǎn)軟硬件故障容錯(cuò)方面为毛，也進(jìn)行充分考慮，具備屏蔽所有可屏蔽錯(cuò)誤能力秋鹅。

    快速文件索引技術(shù)

    云存儲(chǔ)系統(tǒng)可以支持上億級(jí)的文件，同時(shí)還需要支持上千個(gè)用戶同時(shí)訪問。這么大規(guī)模的元數(shù)據(jù)和并發(fā)訪問量析崎，采用傳統(tǒng)的內(nèi)存加磁盤多級(jí)存儲(chǔ)仁热，以及多級(jí)索引方式，尋址的開銷將非常大勾哩，直接影響到系統(tǒng)的可用性抗蠢。

    為了提高系統(tǒng)的響應(yīng)速度，云存儲(chǔ)采用粗粒度的管理方式思劳，以64M作為典型的塊大小進(jìn)行索引迅矛，大幅減小元數(shù)據(jù)的數(shù)量，即使如此潜叛，系統(tǒng)的元數(shù)據(jù)規(guī)模還是會(huì)達(dá)到GB級(jí)別秽褒。基于這種情況威兜，系統(tǒng)采用全內(nèi)存態(tài)的元數(shù)據(jù)訪問模式销斟，可以將文件尋址時(shí)間降到毫秒級(jí)別。

    為了保證元數(shù)據(jù)的可靠性椒舵，需要對(duì)元數(shù)據(jù)的訪問做日志記錄蚂踊，并定期將元數(shù)據(jù)持久化到硬盤。

    負(fù)載自動(dòng)均衡技術(shù)

    采用中心服務(wù)器模式來管理整個(gè)云存儲(chǔ)文件系統(tǒng)笔宿，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上犁钟，文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。

    元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間徙掠，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況恃葫，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況眼栽、網(wǎng)絡(luò)負(fù)擔(dān)等情況俱菜，選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù)，自動(dòng)調(diào)節(jié)集群的負(fù)載狀態(tài)贸渐。

    數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤級(jí)的負(fù)載均衡恕琅，根據(jù)磁盤的IO負(fù)載，空間容量等情況当盘，自動(dòng)選擇負(fù)載最輕的磁盤存儲(chǔ)新的數(shù)據(jù)文件接窍。

    當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí)，元數(shù)據(jù)服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉驮肄，不再將此數(shù)據(jù)節(jié)點(diǎn)提供給客戶端使用川霞，同時(shí)存儲(chǔ)在此數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)也會(huì)自動(dòng)恢復(fù)到其他可用的節(jié)點(diǎn)服務(wù)器上，自動(dòng)屏蔽數(shù)據(jù)單節(jié)點(diǎn)故障對(duì)系統(tǒng)的影響悬朱。

    另外對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù)勇垛，只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤拔出脖母，插入到其他數(shù)據(jù)節(jié)點(diǎn)，這樣即減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力闲孤，又不對(duì)客戶端讀寫產(chǎn)生影響谆级。

    高速并發(fā)訪問技術(shù)

    客戶端在訪問云存儲(chǔ)時(shí)，首先訪問元數(shù)據(jù)服務(wù)器讼积，獲取將要與之進(jìn)行交互的數(shù)據(jù)節(jié)點(diǎn)信息肥照，然后直接訪問這些數(shù)據(jù)節(jié)點(diǎn)完成數(shù)據(jù)存取。

    客戶端與元數(shù)據(jù)服務(wù)器之間只有控制流勤众，而無數(shù)據(jù)流舆绎，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸们颜÷蓝洌客戶端與數(shù)據(jù)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)掌桩，客戶端可以同時(shí)訪問多個(gè)節(jié)點(diǎn)服務(wù)器边锁，從而使得整個(gè)系統(tǒng)的I／O高度并行，系統(tǒng)整體性能得到提高波岛。

    通常情況下乾哆，系統(tǒng)的整體吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)量呈正比。