數(shù)據(jù)分析與挖掘是人工智能發(fā)揮真正價值的核心揭胶。傳統(tǒng)的大數(shù)據(jù)分析，不管是傳統(tǒng)的聯(lián)機分析處理(OLAP)技術(shù)還是數(shù)據(jù)挖掘技術(shù)鞍爱，都難以應對大數(shù)據(jù)的挑戰(zhàn)鹃觉。一是執(zhí)行效率低专酗，傳統(tǒng)數(shù)據(jù)挖掘技術(shù)都是基于集中式的底層軟件架構(gòu)開發(fā)，難以并行化盗扇，在處理TB級以上數(shù)據(jù)時效率低祷肯；二是數(shù)據(jù)分析精度難以隨著數(shù)據(jù)量提升而得到改進，特別是難以應對非結(jié)構(gòu)化數(shù)據(jù)疗隶。深度學習具有自行處理佑笋、分布存儲和高度容錯等特性，非常適合處理非線性的或者模糊抽减、不完整允青、不嚴密的知識和數(shù)據(jù)。智能大數(shù)據(jù)分析技術(shù)利用深度學習算法自動開展多種分析計算卵沉，探究數(shù)據(jù)資源中的規(guī)律和異常點颠锉，輔助用戶更快、更準地找到需求點史汗，從而實現(xiàn)風險預測和評估足贴。
總書記深刻指出，"要推動大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展""要運用大數(shù)據(jù)提升國家治理現(xiàn)代化水平"姥勤。李克強總理在今年的政府工作報告中提出哮寨，要"深化大數(shù)據(jù)、人工智能等研發(fā)應用"施俩。公安機關(guān)必須積極推進公安大數(shù)據(jù)戰(zhàn)略瞎遗，加快推動公安工作由信息化向智慧化升級轉(zhuǎn)型，在促進大數(shù)據(jù)與社會治理深入融合中提升社會治理能力和水平披蛔，讓打防管控的矛更利截纹、盾更堅，切實筑牢維護國家政治安全幻役、確保社會大局穩(wěn)定贬屹、促進社會公平正義、保障人民安居樂業(yè)的堅強防線伦秀。
一月锅、公安大數(shù)據(jù)建設(shè)要點
1.PB級數(shù)據(jù)存儲管理：信息化建設(shè)在推進，數(shù)據(jù)規(guī)模隨之飛速增長泞当，為了滿足大規(guī)模數(shù)據(jù)的存儲和分析迹蛤，大數(shù)據(jù)存儲系統(tǒng)應支持單一系統(tǒng)擴展至10PB以上規(guī)模，以滿足未來數(shù)據(jù)爆發(fā)的存儲需要
2.多種數(shù)據(jù)類型與協(xié)議支持：公安數(shù)據(jù)形式多樣零蓉，包含文檔笤受、圖片、視頻敌蜂、柵格箩兽、矢量等津肛，因此該系統(tǒng)需要能夠支持結(jié)構(gòu)化、半結(jié)構(gòu)化汗贫、非結(jié)構(gòu)化多種數(shù)據(jù)類型身坐，提供NFS/CIFS/JDBC/ODBC等多種接口，以便業(yè)務對多種數(shù)據(jù)進行訪問和操作落包；
3.高質(zhì)量的數(shù)據(jù)整合：好的數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析挖掘等有效應用的基本條件部蛇，面對公安行業(yè)交互復雜而繁多的系統(tǒng)，勢必需要將這些多源異構(gòu)的數(shù)據(jù)進行抽取咐蝇、轉(zhuǎn)換及裝載涯鲁，實現(xiàn)數(shù)據(jù)的整合、消重法雄，提供高質(zhì)量的數(shù)據(jù)用兵，在此基礎(chǔ)上進行關(guān)聯(lián)、建模白叫，為實戰(zhàn)業(yè)務提供可用的數(shù)據(jù)晴顷；
4.高效的數(shù)據(jù)分析能力：百億條記錄的檢索、上千張表的碰撞队装、幾百個小時的視頻分析狮善、大量的移動互聯(lián)網(wǎng)和社交媒體數(shù)據(jù)處理等應用，無不對大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)分析能力提出更高的要求烟焊；
5.可管理和開放性：可管理换募、開放化、標準化的大數(shù)據(jù)技術(shù)體系架構(gòu)隔造，不僅可以為公安帶來更高的性價比缤媒、更出色的擴展性，更能為警務建設(shè)在大數(shù)據(jù)平臺上開展新探索际器、新應用解除后顧之憂；
6.安全可靠贸桶，自主可控：公安系統(tǒng)中很多數(shù)據(jù)關(guān)系著國家安全和人民生命財產(chǎn)安全舅逸，因此，要求該系統(tǒng)具備非常高的可靠性皇筛，同時琉历，為進一步加強數(shù)據(jù)安全性，避免數(shù)據(jù)泄露水醋，選用具備完全自主知識產(chǎn)權(quán)的國產(chǎn)設(shè)備和系統(tǒng)旗笔。
二、公安大數(shù)據(jù)的技術(shù)選型
大數(shù)據(jù)的實質(zhì)是對數(shù)據(jù)的管理與開發(fā)利用拄踪，與當前以信息資源開發(fā)為核心的公安工作具有廣泛的共通性蝇恶，如何借助大數(shù)據(jù)技術(shù)推動公安工作的發(fā)展和變革拳魁？技術(shù)選型非常重要。在各個企業(yè)和組織紛紛助推下撮弧，大數(shù)據(jù)領(lǐng)域的相關(guān)技術(shù)呈現(xiàn)百花齊放局面潘懊，涵蓋數(shù)據(jù)收集、存儲贿衍、計算授舟、挖掘、資源調(diào)度等冈哮，下面就以核心的計算層和存儲層兩個維度介紹下有關(guān)技術(shù)路線和發(fā)展趨勢络灾。
數(shù)據(jù)處理：
簡而言之，不管對何種應用啃嫂，當數(shù)據(jù)量很大時就無法在一臺服務器上解決計算問題蜕芭，此時分布式計算優(yōu)勢就體現(xiàn)出來，而HadoopMapReduce的重要創(chuàng)新便是當處理一個大數(shù)據(jù)集時會將其任務分解并在運行的多個節(jié)點中處理凸翩，這種批處理框架常用于離線的復雜的非結(jié)構(gòu)化數(shù)據(jù)處理牙晰，如ETL、數(shù)據(jù)挖掘等場景肪麦；與Hadoop的使用硬盤來存儲數(shù)據(jù)不同较谣，Spark是基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應用場合孩最；而Storm則是專門針對實時數(shù)據(jù)類型的流式計算分析框架趾赡，應用在低延遲的場景中，實現(xiàn)海量事件的實時分析眯找、處理和決策好勤。除此之外，為應對不斷增長的海量結(jié)構(gòu)化數(shù)據(jù)的存儲和快速處理以及靈活的業(yè)務建模需求啼染，數(shù)據(jù)庫系統(tǒng)必將引入分布式架構(gòu)宴合、MPP處理技術(shù)。
數(shù)據(jù)存儲：
上面提到了MapReduce將任務分發(fā)到多個服務器上處理大數(shù)據(jù)的能力迹鹅。而對于分布式計算卦洽，每個服務器必須具備對數(shù)據(jù)的訪問能力，這就是HDFS所起到的作用斜棚，HDFS有著高容錯性阀蒂、高吞吐量的特點，適合大數(shù)據(jù)集的應用弟蚀。與此同時蚤霞，業(yè)內(nèi)也有許多其他類型的文件系統(tǒng)推出，不僅能解決了傳統(tǒng)存儲體系結(jié)構(gòu)存在的難題，又能提高存儲利用率和數(shù)據(jù)讀寫性能昧绣，可以替代HDFS作為Hadoop架構(gòu)的底層文件系統(tǒng)/數(shù)據(jù)存儲规肴。
不同的技術(shù)思路各有偏重，由于公安業(yè)務種類繁多滞乙，大數(shù)據(jù)應用場景多樣化淤汽，除了建立各類基礎(chǔ)大數(shù)據(jù)資源庫之外，還需要做到事前預測警務研判脱处、事中實時情報分析及事后案事件分析卸能，及可視化查詢統(tǒng)計等，建議公安用戶基于智能融合的大數(shù)據(jù)架構(gòu)構(gòu)建上層應用忍抗，積極引入大數(shù)據(jù)領(lǐng)域的先進技術(shù)延坡，推動公安工作邁入大數(shù)據(jù)發(fā)展階段。
三付厦、公安大數(shù)據(jù)應用領(lǐng)域
(一)大數(shù)據(jù)與應急
借助大數(shù)據(jù)舵博，既可以預測某一區(qū)域乃至全國的某種類型的犯罪趨勢，也可以預測某一時間某一具體地點某種類型的犯罪超默，還可以預測某一個體的犯罪概率蟆盖。根據(jù)預測，我們可以制訂計劃园环，優(yōu)化警力配置多梦，提升行動效率。
(二)大數(shù)據(jù)之與社會維穩(wěn)
互聯(lián)網(wǎng)成為人們?nèi)粘＝涣髀⒈磉_思想和宣泄情緒的重要平臺劳吠，也是相關(guān)內(nèi)容安全保障的重要平臺。網(wǎng)絡輿論已成為社會輿論的重要組成部分巩趁，越來越多地引起全社會的高度重視痒玩。搜索引擎、微博议慰、微信蠢古、論壇、貼吧等互聯(lián)網(wǎng)輿論集中的區(qū)域别凹，搜集這些數(shù)據(jù)便獲取到了以往無法掌握的社會輿論動向便瑟，熱度輿論、以及輿論領(lǐng)袖番川。一些突發(fā)事件和熱點、敏感問題在網(wǎng)上被惡意炒作脊框，形成強大的網(wǎng)上輿論氣候颁督，各種負面信息通過互聯(lián)網(wǎng)的各種服務方式快速、廣泛傳播，嚴重影響社會穩(wěn)定和政府單位形象沉御⌒∮蓿互聯(lián)網(wǎng)不僅是現(xiàn)實社會的虛擬映像，還是現(xiàn)實問題的聚焦鏡和放大器芋甸。
通過輿情機制绪毅，一方面可以加強互聯(lián)網(wǎng)信息監(jiān)管，另一方面谬咽，對于及時應對網(wǎng)絡突發(fā)的公共事件和全面掌握社情民意叙傅，并對于及時發(fā)現(xiàn)社會蘊藏的潛在不穩(wěn)定因素，提早預防起著重要作用麸癌。
總書記深刻指出，"要推動大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展""要運用大數(shù)據(jù)提升國家治理現(xiàn)代化水平"姥勤。李克強總理在今年的政府工作報告中提出哮寨，要"深化大數(shù)據(jù)、人工智能等研發(fā)應用"施俩。公安機關(guān)必須積極推進公安大數(shù)據(jù)戰(zhàn)略瞎遗，加快推動公安工作由信息化向智慧化升級轉(zhuǎn)型，在促進大數(shù)據(jù)與社會治理深入融合中提升社會治理能力和水平披蛔，讓打防管控的矛更利截纹、盾更堅，切實筑牢維護國家政治安全幻役、確保社會大局穩(wěn)定贬屹、促進社會公平正義、保障人民安居樂業(yè)的堅強防線伦秀。
一月锅、公安大數(shù)據(jù)建設(shè)要點
1.PB級數(shù)據(jù)存儲管理：信息化建設(shè)在推進，數(shù)據(jù)規(guī)模隨之飛速增長泞当，為了滿足大規(guī)模數(shù)據(jù)的存儲和分析迹蛤，大數(shù)據(jù)存儲系統(tǒng)應支持單一系統(tǒng)擴展至10PB以上規(guī)模，以滿足未來數(shù)據(jù)爆發(fā)的存儲需要
2.多種數(shù)據(jù)類型與協(xié)議支持：公安數(shù)據(jù)形式多樣零蓉，包含文檔笤受、圖片、視頻敌蜂、柵格箩兽、矢量等津肛，因此該系統(tǒng)需要能夠支持結(jié)構(gòu)化、半結(jié)構(gòu)化汗贫、非結(jié)構(gòu)化多種數(shù)據(jù)類型身坐，提供NFS/CIFS/JDBC/ODBC等多種接口，以便業(yè)務對多種數(shù)據(jù)進行訪問和操作落包；
3.高質(zhì)量的數(shù)據(jù)整合：好的數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析挖掘等有效應用的基本條件部蛇，面對公安行業(yè)交互復雜而繁多的系統(tǒng)，勢必需要將這些多源異構(gòu)的數(shù)據(jù)進行抽取咐蝇、轉(zhuǎn)換及裝載涯鲁，實現(xiàn)數(shù)據(jù)的整合、消重法雄，提供高質(zhì)量的數(shù)據(jù)用兵，在此基礎(chǔ)上進行關(guān)聯(lián)、建模白叫，為實戰(zhàn)業(yè)務提供可用的數(shù)據(jù)晴顷；
4.高效的數(shù)據(jù)分析能力：百億條記錄的檢索、上千張表的碰撞队装、幾百個小時的視頻分析狮善、大量的移動互聯(lián)網(wǎng)和社交媒體數(shù)據(jù)處理等應用，無不對大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)分析能力提出更高的要求烟焊；
5.可管理和開放性：可管理换募、開放化、標準化的大數(shù)據(jù)技術(shù)體系架構(gòu)隔造，不僅可以為公安帶來更高的性價比缤媒、更出色的擴展性，更能為警務建設(shè)在大數(shù)據(jù)平臺上開展新探索际器、新應用解除后顧之憂；
6.安全可靠贸桶，自主可控：公安系統(tǒng)中很多數(shù)據(jù)關(guān)系著國家安全和人民生命財產(chǎn)安全舅逸，因此，要求該系統(tǒng)具備非常高的可靠性皇筛，同時琉历，為進一步加強數(shù)據(jù)安全性，避免數(shù)據(jù)泄露水醋，選用具備完全自主知識產(chǎn)權(quán)的國產(chǎn)設(shè)備和系統(tǒng)旗笔。
二、公安大數(shù)據(jù)的技術(shù)選型
大數(shù)據(jù)的實質(zhì)是對數(shù)據(jù)的管理與開發(fā)利用拄踪，與當前以信息資源開發(fā)為核心的公安工作具有廣泛的共通性蝇恶，如何借助大數(shù)據(jù)技術(shù)推動公安工作的發(fā)展和變革拳魁？技術(shù)選型非常重要。在各個企業(yè)和組織紛紛助推下撮弧，大數(shù)據(jù)領(lǐng)域的相關(guān)技術(shù)呈現(xiàn)百花齊放局面潘懊，涵蓋數(shù)據(jù)收集、存儲贿衍、計算授舟、挖掘、資源調(diào)度等冈哮，下面就以核心的計算層和存儲層兩個維度介紹下有關(guān)技術(shù)路線和發(fā)展趨勢络灾。
數(shù)據(jù)處理：
簡而言之，不管對何種應用啃嫂，當數(shù)據(jù)量很大時就無法在一臺服務器上解決計算問題蜕芭，此時分布式計算優(yōu)勢就體現(xiàn)出來，而HadoopMapReduce的重要創(chuàng)新便是當處理一個大數(shù)據(jù)集時會將其任務分解并在運行的多個節(jié)點中處理凸翩，這種批處理框架常用于離線的復雜的非結(jié)構(gòu)化數(shù)據(jù)處理牙晰，如ETL、數(shù)據(jù)挖掘等場景肪麦；與Hadoop的使用硬盤來存儲數(shù)據(jù)不同较谣，Spark是基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應用場合孩最；而Storm則是專門針對實時數(shù)據(jù)類型的流式計算分析框架趾赡，應用在低延遲的場景中，實現(xiàn)海量事件的實時分析眯找、處理和決策好勤。除此之外，為應對不斷增長的海量結(jié)構(gòu)化數(shù)據(jù)的存儲和快速處理以及靈活的業(yè)務建模需求啼染，數(shù)據(jù)庫系統(tǒng)必將引入分布式架構(gòu)宴合、MPP處理技術(shù)。
數(shù)據(jù)存儲：
上面提到了MapReduce將任務分發(fā)到多個服務器上處理大數(shù)據(jù)的能力迹鹅。而對于分布式計算卦洽，每個服務器必須具備對數(shù)據(jù)的訪問能力，這就是HDFS所起到的作用斜棚，HDFS有著高容錯性阀蒂、高吞吐量的特點，適合大數(shù)據(jù)集的應用弟蚀。與此同時蚤霞，業(yè)內(nèi)也有許多其他類型的文件系統(tǒng)推出，不僅能解決了傳統(tǒng)存儲體系結(jié)構(gòu)存在的難題，又能提高存儲利用率和數(shù)據(jù)讀寫性能昧绣，可以替代HDFS作為Hadoop架構(gòu)的底層文件系統(tǒng)/數(shù)據(jù)存儲规肴。
不同的技術(shù)思路各有偏重，由于公安業(yè)務種類繁多滞乙，大數(shù)據(jù)應用場景多樣化淤汽，除了建立各類基礎(chǔ)大數(shù)據(jù)資源庫之外，還需要做到事前預測警務研判脱处、事中實時情報分析及事后案事件分析卸能，及可視化查詢統(tǒng)計等，建議公安用戶基于智能融合的大數(shù)據(jù)架構(gòu)構(gòu)建上層應用忍抗，積極引入大數(shù)據(jù)領(lǐng)域的先進技術(shù)延坡，推動公安工作邁入大數(shù)據(jù)發(fā)展階段。
三付厦、公安大數(shù)據(jù)應用領(lǐng)域
(一)大數(shù)據(jù)與應急
借助大數(shù)據(jù)舵博，既可以預測某一區(qū)域乃至全國的某種類型的犯罪趨勢，也可以預測某一時間某一具體地點某種類型的犯罪超默，還可以預測某一個體的犯罪概率蟆盖。根據(jù)預測，我們可以制訂計劃园环，優(yōu)化警力配置多梦，提升行動效率。
(二)大數(shù)據(jù)之與社會維穩(wěn)
互聯(lián)網(wǎng)成為人們?nèi)粘＝涣髀⒈磉_思想和宣泄情緒的重要平臺劳吠，也是相關(guān)內(nèi)容安全保障的重要平臺。網(wǎng)絡輿論已成為社會輿論的重要組成部分巩趁，越來越多地引起全社會的高度重視痒玩。搜索引擎、微博议慰、微信蠢古、論壇、貼吧等互聯(lián)網(wǎng)輿論集中的區(qū)域别凹，搜集這些數(shù)據(jù)便獲取到了以往無法掌握的社會輿論動向便瑟，熱度輿論、以及輿論領(lǐng)袖番川。一些突發(fā)事件和熱點、敏感問題在網(wǎng)上被惡意炒作脊框，形成強大的網(wǎng)上輿論氣候颁督，各種負面信息通過互聯(lián)網(wǎng)的各種服務方式快速、廣泛傳播，嚴重影響社會穩(wěn)定和政府單位形象沉御⌒∮蓿互聯(lián)網(wǎng)不僅是現(xiàn)實社會的虛擬映像，還是現(xiàn)實問題的聚焦鏡和放大器芋甸。
通過輿情機制绪毅，一方面可以加強互聯(lián)網(wǎng)信息監(jiān)管，另一方面谬咽，對于及時應對網(wǎng)絡突發(fā)的公共事件和全面掌握社情民意叙傅，并對于及時發(fā)現(xiàn)社會蘊藏的潛在不穩(wěn)定因素，提早預防起著重要作用麸癌。
18221259202