一、大數(shù)據(jù)采集技術(shù)

數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)夫椭、傳感器數(shù)據(jù)掸掸、社交網(wǎng)絡交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化(或稱之為弱結(jié)構(gòu)化)及非結(jié)構(gòu)化的海量數(shù)據(jù)蹭秋，是大數(shù)據(jù)知識服務模型的根本扰付。重點要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù);突破高速數(shù)據(jù)解析仁讨、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù);設計質(zhì)量評估模型羽莺，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。

大數(shù)據(jù)采集一般分為：

1)大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系洞豁、網(wǎng)絡通信體系盐固、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)掐抢，實現(xiàn)對結(jié)構(gòu)化候榨、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識別统扔、定位琅芍、跟蹤、接入馁筷、傳輸甸垄、信號轉(zhuǎn)換、監(jiān)控芥吧、初步處理和管理等旋逛。必須著重攻克針對大數(shù)據(jù)源的智能識別、感知析口、適配妥触、傳輸、接入等技術(shù)乱归。

2)基礎支撐層：提供大數(shù)據(jù)服務平臺所需的虛擬服務器群镰，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡資源等基礎支撐環(huán)境。重點攻克分布式虛擬存儲技術(shù)镀赌，大數(shù)據(jù)獲取氯哮、存儲、組織商佛、分析和決策操作的可視化接口技術(shù)喉钢，大數(shù)據(jù)的網(wǎng)絡傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護技術(shù)等良姆。

二肠虽、大數(shù)據(jù)預處理技術(shù)

完成對已接收數(shù)據(jù)的辨析、抽取玛追、清洗等操作税课。

1)抽取：因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型痊剖，數(shù)據(jù)抽取過程可以幫助我們將這些復雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型韩玩，以達到快速分析處理的目的。

2)清洗：對于大數(shù)據(jù)陆馁，并不全是有價值的找颓，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯誤的干擾項励砸，因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)狱诊。

三、大數(shù)據(jù)存儲及管理技術(shù)

大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來疚逝，建立相應的數(shù)據(jù)庫猜摹，并進行管理和調(diào)用。重點解決復雜結(jié)構(gòu)化誊爵、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)灿磁。主要解決大數(shù)據(jù)的可存儲、可表示匆救、可處理嫁橱、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。開發(fā)可靠的分布式文件系統(tǒng)(DFS)扭妖、能效優(yōu)化的存儲环起、計算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù);突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)捆革，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)娘扩，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù);突破大數(shù)據(jù)索引技術(shù);突破大數(shù)據(jù)移動壮锻、備份琐旁、復制等技術(shù);開發(fā)大數(shù)據(jù)可視化技術(shù)涮阔。

開發(fā)新型數(shù)據(jù)庫技術(shù)，數(shù)據(jù)庫分為關(guān)系型數(shù)據(jù)庫灰殴、非關(guān)系型數(shù)據(jù)庫以及數(shù)據(jù)庫緩存系統(tǒng)敬特。其中，非關(guān)系型數(shù)據(jù)庫主要指的是NoSQL數(shù)據(jù)庫牺陶，分為：鍵值數(shù)據(jù)庫伟阔、列存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫等類型掰伸。關(guān)系型數(shù)據(jù)庫包含了傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)以及NewSQL數(shù)據(jù)庫皱炉。

開發(fā)大數(shù)據(jù)安全技術(shù)：改進數(shù)據(jù)銷毀、透明加解密碱工、分布式訪問控制娃承、數(shù)據(jù)審計等技術(shù);突破隱私保護和推理控制奏夫、數(shù)據(jù)真?zhèn)巫R別和取證怕篷、數(shù)據(jù)持有完整性驗證等技術(shù)。

四艳杯、大數(shù)據(jù)分析及挖掘技術(shù)

大數(shù)據(jù)分析技術(shù)：改進已有數(shù)據(jù)挖掘和機器學習技術(shù);開發(fā)數(shù)據(jù)網(wǎng)絡挖掘憎唯、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù);突破基于對象的數(shù)據(jù)連接统褂、相似性連接等大數(shù)據(jù)融合技術(shù);突破用戶興趣分析筛粘、網(wǎng)絡行為分析、情感語義分析等面向領域的大數(shù)據(jù)挖掘技術(shù)稼掏。

數(shù)據(jù)挖掘就是從大量的熊倡、不完全的、有噪聲的憾牵、模糊的讳帆、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的印脓、人們事先不知道的置狠、但又是潛在有用的信息和知識的過程。

數(shù)據(jù)挖掘涉及的技術(shù)方法很多崇磁，有多種分類法黄鳍。根據(jù)挖掘任務可分為分類或預測模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)平匈、聚類框沟、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)增炭、依賴關(guān)系或依賴模型發(fā)現(xiàn)忍燥、異常和趨勢發(fā)現(xiàn)等等;根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫灾前、時態(tài)數(shù)據(jù)庫防症、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫哎甲、異質(zhì)數(shù)據(jù)庫蔫敲、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web;根據(jù)挖掘方法分，可粗分為:機器學習方法炭玫、統(tǒng)計方法奈嘿、神經(jīng)網(wǎng)絡方法和數(shù)據(jù)庫方法。

機器學習中蕴莉，可細分為歸納學習方法(決策樹翰蛔、規(guī)則歸納等)、基于范例學習仓突、遺傳算法等痰汰。統(tǒng)計方法中，可細分為:回歸分析(多元回歸绊削、自回歸等)凑戏、判別分析(貝葉斯判別、費歇爾判別制棉、非參數(shù)判別等)裆机、聚類分析(系統(tǒng)聚類、動態(tài)聚類等)诸晃、探索性分析(主元分析法狼憋、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡方法中益命，可細分為:前向神經(jīng)網(wǎng)絡(BP算法等)奖瞳、自組織神經(jīng)網(wǎng)絡(自組織特征映射、競爭學習等)等椭符。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法荔燎，另外還有面向?qū)傩缘臍w納方法。

數(shù)據(jù)挖掘主要過程是：根據(jù)分析挖掘目標销钝，從數(shù)據(jù)庫中把數(shù)據(jù)提取出來有咨，然后經(jīng)過ETL組織成適合分析挖掘算法使用寬表，然后利用數(shù)據(jù)挖掘軟件進行挖掘蒸健。傳統(tǒng)的數(shù)據(jù)挖掘軟件座享，一般只能支持在單機上進行小規(guī)模數(shù)據(jù)處理,受此限制傳統(tǒng)數(shù)據(jù)分析挖掘一般會采用抽樣方式來減少數(shù)據(jù)分析規(guī)模。

數(shù)據(jù)挖掘的計算復雜度和靈活度遠遠超過前兩類需求似忧。一是由于數(shù)據(jù)挖掘問題開放性渣叛，導致數(shù)據(jù)挖掘會涉及大量衍生變量計算丈秩，衍生變量多變導致數(shù)據(jù)預處理計算復雜性;二是很多數(shù)據(jù)挖掘算法本身就比較復雜，計算量就很大淳衙，特別是大量機器學習算法蘑秽，都是迭代計算，需要通過多次迭代來求最優(yōu)解箫攀，例如K-means聚類算法肠牲、PageRank算法等。