一、AIoT領域中人機交互的市場機會

    自2017年開始围苫，“AIoT”一詞便開始頻頻刷屏裤园，成為物聯(lián)網(wǎng)的行業(yè)熱詞。“AIoT”即“AI+IoT”剂府，指的是人工智能技術與物聯(lián)網(wǎng)在實際應用中的落地融合拧揽。當前，已經(jīng)有越來越多的人將AI與IoT結合到一起來看腺占，AIoT作為各大傳統(tǒng)行業(yè)智能化升級的最佳通道淤袜，已經(jīng)成為物聯(lián)網(wǎng)發(fā)展的必然趨勢。

    在基于IoT技術的市場里衰伯，與人發(fā)生聯(lián)系的場景（如智能家居蜻赃、自動駕駛、智慧醫(yī)療善王、智慧辦公）正在變得越來越多钥币。而只要是與人發(fā)生聯(lián)系的地方，勢必都會涉及人機交互的需求带蔬。人機交互是指人與計算機之間使用某種對話語言荸跃，以一定的交互方式，為完成確定任務的人與計算換機之間的信息交互過程。人機交互的范圍很廣柄露，小到電燈開關乏乔，大到飛機上的儀表板或是發(fā)電廠的控制室等等。而隨著智能終端設備的爆發(fā)窒汤，用戶對于人與機器間的交互方式也提出了全新要求蜂镇，使得AIoT人機交互市場被逐漸激發(fā)起來。

圖：AIoT發(fā)展路徑

    以智能家居市場為例杉硅，數(shù)據(jù)顯示给酥，2018年中國智能家居規(guī)模將達到1800億元，到2020年智能家居市場規(guī)模將達到3576億元杏死。分析師預測泵肄，2021年全球智能家居市場規(guī)模將達5000多億元。飛速爆發(fā)中的AIoT市場淑翼，所蘊藏的人機交互需求及前景無疑是令人期待的腐巢。

    人類生活的數(shù)字化進程已持續(xù)約三十年，這些年我們經(jīng)歷了從模擬時代到PC互聯(lián)時代再移動互聯(lián)時代的演進玄括，而目前我們正處在向物聯(lián)網(wǎng)時代的演進過程中冯丙。從交互方式上來講，我們可以看到機器是越來越“遷就”人的：從PC時代的鍵盤和鼠標到移動時代的觸屏遭京、NFC以及各種MEMS傳感器胃惜，再到物聯(lián)網(wǎng)時代正在蓬勃發(fā)展的語音/圖像等交互方式，使用門檻正在變得越來越低哪雕，這導致了越來越多的用戶的卷入船殉。同時我們需要注意到另一個深刻的變化，即由于交互方式的演進（至少是重要原因之一）斯嚎，大量的新維度的數(shù)據(jù)也在不斷地被創(chuàng)造出來和數(shù)字化利虫，比如PC時代的工作資料和娛樂節(jié)目，智能手機時代的用戶使用習慣悬占、位置、信用和貨幣拜岂，再到物聯(lián)網(wǎng)時代的各種可能的新數(shù)據(jù)邓秕。

    在物聯(lián)網(wǎng)時代，交互方式正在往本體交互的方向發(fā)展庵偏。所謂“本體交互”轻江，指的是從人的本體出發(fā)的，人與人之間交互的基本方式母掀，如語音挤帕、視覺、動作、觸覺贤泥，甚至味覺等液茧。例如，通過聲音控制家電练缴，或者空調通過紅外來決定是否應該降溫缚庐，通過語音和紅外結合來進行溫度的控制（偵測到房間里沒人的時候，即便電視節(jié)目里提到了“降溫”霎挟，空調也不做反應）窝剖。

    新的數(shù)據(jù)是AI的新的養(yǎng)料，而大量的新維度的數(shù)據(jù)正在為AIoT創(chuàng)造出無限可能酥夭。

    從AIoT發(fā)展路徑來看赐纱，當前行業(yè)人士普遍認為，其將經(jīng)歷單機智能熬北、互聯(lián)智能到主動智能的三大階段疙描。

    單機智能指的是智能設備等待用戶發(fā)起交互需求，而這個過程中設備與設備之間是不發(fā)生相互聯(lián)系的蒜埋。這種情境下淫痰，單機系統(tǒng)需要精確感知、識別整份、理解用戶的各類指令待错，如語音、手勢等烈评，并正確決策火俄、執(zhí)行和反饋。AIoT行業(yè)正處于這一階段该捎。以家電行業(yè)為例娇歹，過去的家電就是一個功能機時代，就像以前的手機按鍵式的枝扭，幫你把溫度降下來劣屑，幫你實現(xiàn)食物的冷藏；現(xiàn)在的家電實現(xiàn)了單機智能孵钱，就是語音或手機APP的遙控去實現(xiàn)調溫度涮凡、打開風扇等。

    無法互聯(lián)互通的智能單品昏滔，只是一個個數(shù)據(jù)和服務的孤島肤侍，遠遠滿足不了人們使用需求。要取得智能化場景體驗的不斷升級挫肆、優(yōu)化弄业，首先需要打破的是單品智能的孤島效應泛邮。而互聯(lián)智能場景，本質上指的是一個相互互聯(lián)互通的產(chǎn)品矩陣辈净，因而盯质，“一個大腦（云或者中控），多個終端（感知器）”的模式成為必然袭蝗。例如唤殴，當用戶在臥室里對空調說關閉客廳的窗簾，而空調和客廳的智能音箱中控是連接的到腥，他們之間可以互相商量和決策朵逝，進而做出由音箱關閉客廳窗簾的動作；又或者當用戶晚上在臥室對著空調說出“睡眠模式”時乡范，不僅僅空調自動調節(jié)到適宜睡眠的溫度配名，同時，客廳的電視晋辆、音箱渠脉，以及窗簾、燈設備都自動進入關閉狀態(tài)瓶佳。這就是一個典型的通過云端大腦芋膘，配合多個感知器的互聯(lián)智能的場景落地。

    主動智能指的是智能系統(tǒng)根據(jù)用戶行為偏好霸饲、用戶畫像凡矿、環(huán)境等各類信息，隨時待命置芋，具有自學習紊竹、自適應、自提高能力栋湃，可主動提供適用于用戶的服務壹会，而無需等待用戶提出需求，正如一個私人秘書铲桑。試想這樣的場景及键，清晨伴隨著光線的變化，窗簾自動緩緩開啟掺薪，音箱傳來舒緩的起床音樂胸胚，新風系統(tǒng)和空調開始工作。你開始洗漱厨摔，洗涑臺前的私人助手自動為你播報今日天氣窄忱、穿衣建議等岛涝。洗漱完畢脓杉，早餐和咖啡已經(jīng)做好糟秘。當你走出家門，家里的電器自動斷電球散，等待你回家時再度開啟尿赚。

    二、AIoT的人機交互對AI芯片需求

    邊緣計算指在靠近物或數(shù)據(jù)源頭的網(wǎng)絡邊緣側蕉堰，融合網(wǎng)絡凌净、計算、存儲屋讶、應用核心能力的開放平臺冰寻，就近提供邊緣智能服務，滿足行業(yè)數(shù)字化在敏捷連接皿渗、實時業(yè)務斩芭、數(shù)據(jù)優(yōu)化、應用智能乐疆、安全與隱私保護等方面的關鍵需求划乖。在行業(yè)內(nèi)有個十分形象的比方，邊緣計算猶如人類身體的神經(jīng)末梢挤土，可以對簡單的刺激進行自行處理阶庆，并將特征信息反饋給云端大腦。伴隨AIoT的落地實現(xiàn)巧杰，在萬物智聯(lián)的場景中铺享，設備與設備間將互聯(lián)互通，形成數(shù)據(jù)交互距搂、共享的嶄新生態(tài)北淘。在這個過程中，終端不僅需要有更加高效的算力恰磷，在大多數(shù)場景中玷源，還必須具有本地自主決斷及響應能力。拿智能音箱舉例熏屎，其不僅需要支持本地喚醒的能力攀驶，還應該具備遠講降噪的能力，而由于實時性以及數(shù)據(jù)有效性的考慮京嗽，這方面的計算必須發(fā)生在設備端而不是云端镰对。

    智能家居行業(yè)作為AIoT人機交互最重要的落地場景，正吸引越來越多企業(yè)進入墨叛。在這其中止毕，既有如Apple、Google漠趁、Amazon等這樣的科技巨頭扁凛，也有像海爾忍疾、三星這類的傳統(tǒng)家電廠商，當然也不乏小米谨朝、京東這樣的互聯(lián)網(wǎng)新貴卤妒。基于互聯(lián)智能的構想字币，未來的AIoT時代则披，每個設備都需要具備一定的感知（如預處理）、推斷以及決策功能洗出。因此士复，每個設備端都需要具備一定不依賴于云端的獨立計算能力，即上面提到的邊緣計算翩活。

    在智能家居的場景下判没，通過自然語音的方式與終端設備進行交互，在當前已成為行業(yè)主流氢莫。由于家庭場景的特殊性钳生，家用終端設備需精準區(qū)分、提取正確的用戶命令（而不是家人在談話時無意說到的無效關鍵詞）邦擎，以及聲源孕称、聲紋等信息，因此僧逞，智能家居領域的語音交互對于邊緣計算也提出了更高要求酝遇，具體表現(xiàn)在以下幾方面：

    1)遠講降噪、喚醒

    家居環(huán)境下聲場復雜杏蟋，比如電視聲音驳芙、多人對話、小孩嬉鬧震崎、空間混響（廚房做飯掰闯、洗衣機等設備工作噪音），這些容易干擾用戶與設備間正常交互的聲音汉锡，很大概率會在同一時間存在的钞，這就需要對各種干擾進行處理、抑制扰肌，使得來自真正用戶的聲音更加突出抛寝。在這個處理的過程中，設備需要更多的信息量來進行輔助判斷曙旭。家居場景語音交互的一個必備功能是使用麥克風陣列進行多通道的同步聲音錄入盗舰，通過對聲學空間場景進行分析，使得聲音的空間定位更加準確桂躏，大幅提升語音質量钻趋。另一個重要功能是通過聲紋信息輔助區(qū)分真正用戶郊霎，使他的聲音從多人的竄擾中更加清晰地區(qū)分出來。這些都需要在設備端實現(xiàn)爷绘，且需要較大的算力支持。

    2)本地識別

    家居領域人機交互的本地識別離不開邊緣計算进倍，具體體現(xiàn)兩個方面：

    高頻詞土至。從實際統(tǒng)計來看，用戶在特定場景下的常用關鍵詞指令數(shù)量有限猾昆。例如車機產(chǎn)品陶因，用戶最常使用的可能是“上一首/下一首”，空調產(chǎn)品有可能最常用的命令是“開啟/關閉”等帅珍，這些用戶經(jīng)常用到的詞就叫做高頻詞忠牛。對于高頻詞的處理，完全可以放在本地處理而不依賴于云端的延時司报，從而帶給用戶最佳的體驗克鼠。

    聯(lián)網(wǎng)率。在智能家居產(chǎn)品尤其是家電產(chǎn)品落地的過程中偎洋，聯(lián)網(wǎng)率是一個問題滚尼。如何在不聯(lián)網(wǎng)的情況下讓用戶感知到語音AI的強大，進行用戶培養(yǎng)睁奶，也是邊緣計算在當前的一個重要作用鉴吕。

    3)本地/云端效率的平衡

    家居領域的自然語言交互過程中，當所有的計算被放到云端時爵蝠，聲學計算的部分將對云端計算造成較大壓力捌唾，一方面造成云平臺成本的大幅增加；另一方面帶來計算延遲揩墓，損害用戶體驗吆视。自然語音交互分成聲學和自然語言理解（NLP）兩個部分，從另一個維度上來講酥宴，可看成是“業(yè)務無關”（語音轉文字/聲學計算）和“業(yè)務有關”（NLP）的部分揩环。業(yè)務有關的部分毫無疑問需要在云端解決，例如用戶問天氣幅虑、聽音樂等需求丰滑，那么設備對用戶語句的理解，以及天氣信息的獲取必須通過聯(lián)網(wǎng)來完成倒庵。但是褒墨，對于用戶語音到文字的轉換，例如下達指令“打開空調擎宝、增加溫度等”郁妈，其中的部分甚至大部分計算是有可能在本地完成的浑玛。這種情況下，從本地上傳到云端的數(shù)據(jù)將不再是壓縮后的語音本身噩咪，而是更為精簡的中間結果甚至是文本本身顾彰，數(shù)據(jù)更為精簡，云端計算更為簡單胃碾，則響應也更為迅速蜻罕。

    4)多模態(tài)的需求

    所謂多模態(tài)交互即多種本體交互手段結合后的交互，例如將多種感官融合样京，比如文字涯贝、語音、視覺品痕、動作跃呛、環(huán)境等。人是一個典型的多模態(tài)交互的例子府贰，在人與人交流的過程中秦砌，表情、手勢窑岖、擁抱梨脖、觸摸，甚至是氣味湃杏，無不在信息交換的過程中起著不可替代的作用屎螟。顯然，智能家居的人機交互勢必不止語音一個模態(tài)迄埃，而是需要多模態(tài)交互并行疗韵。舉個例子，智能音箱如果看到人不在家侄非，那就完全不需要對電視里誤放出的喚醒詞進行響應蕉汪，甚至可以把自己調到睡眠狀態(tài)；一個機器人如果感覺到主人在注視他逞怨，那么可能會主動向主人打招呼并詢問是否需要提供幫助者疤。多模態(tài)處理無疑需要引入對多類傳感器數(shù)據(jù)的共同分析和計算，這些數(shù)據(jù)既包括一維的語音數(shù)據(jù)叠赦，也會包括攝像頭圖像以及熱感應圖像等二維數(shù)據(jù)驹马。這些數(shù)據(jù)的處理無不需要本地AI的能力，也就對邊緣計算提出了強力的需求除秀。

    三糯累、邊緣計算帶來的AI芯片需求

    AI算法對設備端芯片的并行計算能力和存儲器帶寬提出了更高的要求，盡管基于GPU的傳統(tǒng)芯片能夠在終端實現(xiàn)推理算法，但其功耗大泳姐、性價比低的弊端卻不容忽視效拭。在AIoT的大背景下，IoT設備被賦予了AI能力门烧，一方面在保證低功耗甜湾、低成本的同時完成AI運算（邊緣運算）；另一方面鹅棺，IoT設備與手機不同兜充，形態(tài)千變?nèi)f化，需求碎片化嚴重纪闽，對AI算力的需求也不盡相同，因此很難給出跨設備形態(tài)的通用芯片架構决癞。因此委勤，只有從IoT的場景出發(fā)，設計定制化的芯片架構榴廷，才能在大幅提升性能的同時宴甩，降低功耗和成本，同時滿足AI算力以及跨設備形態(tài)的需求钢战。相比于傳統(tǒng)芯片沾尔，定制化的AI芯片在運算效率及存儲器帶寬上有絕對優(yōu)勢，其優(yōu)勢主要體現(xiàn)在以下幾點：

    首先弟头，采用并行運算架構及專用矩陣加速器等技術吩抓，例如SystolicArray架構或更復雜的并行運算架構實現(xiàn)運算單元的利用率，甚至采用Winograd等特定的矩陣加速器赴恨，降低矩陣運算的運算量疹娶，從而提高運算效率。

    其次伦连，從降低外部存儲器帶寬的角度出發(fā)雨饺，通過數(shù)據(jù)壓縮或相關功能模塊之間的pipeline技術，降低內(nèi)存帶寬惑淳。以NVIDIA公司開源AI引擎NVDLA為例额港，在convolutions、activations歧焦、pooling等模塊之間設計了專用的數(shù)據(jù)通路移斩，模塊之間的數(shù)據(jù)交互不在經(jīng)過系統(tǒng)內(nèi)存，而是由專用的數(shù)據(jù)通道完成绢馍。

圖：NVDLA核心架構

    隨著芯片運算效率的提升及外部存儲器數(shù)據(jù)帶寬的降低叹哭，芯片運算所需的時鐘周期和內(nèi)存訪問次數(shù)將會大幅減少。因此，相較通用芯片而言恒欣，AI芯片可以在更低的主頻移良、更小的芯片面積，完成機器學習中同等任務量的計算髓界。采用更低的主頻辰稽，不單降低了芯片的動態(tài)功耗，還可以降低芯片工作電壓咪犹，從而進一步降低芯片動態(tài)功耗爷瓜。另外，低主頻使得在芯片加工工藝的選上有更多的選擇遭屑，進一步影響芯片的靜態(tài)功耗享偎。

    由于芯片面積、功耗直接影響芯片封裝的選擇贴袖，因此AI芯片在芯片封裝上也要比傳統(tǒng)芯片更有優(yōu)勢漏匹。由此來看，AI芯片的性價比將遠遠大于傳統(tǒng)芯片质窒。

    四硫朦、AI芯片落地面臨的挑戰(zhàn)

    AI芯片在保證高性能、高能效比的同時背镇，兼顧靈活性和通用性咬展。AI算法有應用領域廣、算法種類多樣化以及算法演進較快的特點瞒斩，因此對AI芯片架構設計提出較高的要求破婆。只有性能與通用性兼顧的AI芯片才會有廣闊的市場和較長的生命周期。只有在芯片架構與軟件算法之間形成較高的耦合度時胸囱，芯片的性價比才能夠達到較高的值荠割，因此離開對算法的深刻理解是很難設計出高效的AI芯片的。而直接對AI算法的硬件化將極大地降低芯片靈活性旺矾，因此AI芯片的硬件加速往往體現(xiàn)在比算法更底層的數(shù)學運算上蔑鹦。由于AI算法是建立在一系列的數(shù)學運算之上的，因此設計一款高性價比和高靈活性的芯片需要從數(shù)學運算及運算之間的數(shù)據(jù)依賴著手箕宙。在大量數(shù)據(jù)統(tǒng)計的基礎上嚎朽，根據(jù)數(shù)據(jù)運算的復雜度、出現(xiàn)的頻度柬帕、數(shù)據(jù)依賴關系等信息哟忍，提煉基礎數(shù)學運算指令及數(shù)據(jù)搬運指令，并根據(jù)這些指令完成芯片架構的定義和實現(xiàn)秃囚。因此融确，AI芯片架構設計及實現(xiàn)是AI芯片設計的中間一個小的環(huán)節(jié)，而AI指令集設計才是AI芯片成功的更為關鍵的因素。

    做AI芯片不是搞軍備競賽醒横，任何產(chǎn)品在推向市場的過程中都有其產(chǎn)品定位蝗悼，AI芯片也不例外。特定的AI芯片是面向特定場景的禁舌，而場景則由芯片所面向的產(chǎn)品出募、市場所共同影響決定，不同場景對于AI芯片在價格权煎、功耗蒂扇，以及所支持的功能方面有著截然不同的需求。比如狱揩，大型服務機器人和智能開關喝暂，對于AI芯片的價格要求可能會有比較大的反差，畢竟二者的售價相差懸殊彻犁，對于同一售價的AI芯片叫胁，出于產(chǎn)品成本的考慮，所表現(xiàn)出來的接受度可能截然相反袖裕。因此AI芯片不僅要做得來曹抬，還得賣得出溉瓶。

    在AI軟件生態(tài)方面急鳄，AI開發(fā)框架(framework)相對碎片化，比如TensorFlow（Google）堰酿，CNTK（Microsoft）及Torch7（Facebook）等疾宏，整個行業(yè)尚未形成統(tǒng)一的標準。在標準化方面的探索主要包括Microsoft和Facebook聯(lián)合推出的ONNX触创，Khronos組織推出的NNEF等神經(jīng)網(wǎng)絡交換層標準坎藐。不可否認，神經(jīng)網(wǎng)絡交換層標準是解決當前碎片化AI框架的捷徑哼绑，但該標準處于起步階段岩馍，標準的成熟還需要較長的路要走。因此AI芯片廠商解決各種框架之間的兼容性問題抖韩，對AI芯片的通用性帶來極大的挑戰(zhàn)浇沧。在AI產(chǎn)品生態(tài)方面，AI芯片的規(guī)模性的落地領域尚在探索之中豹炊。同時在落地過程中坏扣，AI芯片不是孤立的，還需要軟件應用遂报、解決方案以及服務商的支持则徒。AI芯片歸根結底是一個產(chǎn)品，既然是產(chǎn)品，其落地時的交付物可能是芯片本身冠幕，但更可能是芯片+應用+服務骡侮。如果只有芯片，但是沒有基于芯片的算法和應用庶化，那么無法稱之為一個完整的產(chǎn)品即钞。舉例來說，對于智能音箱而言迹姆，作為一個解決方案的提供商部爱，AI芯片只是其產(chǎn)品中的一小部分，而其他部分例如基于AI芯片的應用岭埠、云端的智能語音交互服務盏混、內(nèi)容服務以及服務支持等，這才是落地中更為重要的一環(huán)惜论。在AI芯片落地的過程中许赃，客戶需要的一般是一個完整的方案，如果僅僅提供AI芯片的話馆类，勢必需要在應用混聊、云服務等各方面尋找相應的合作伙伴，才有可能對客戶提供一個完整的解決方案乾巧。

    總之句喜，AIoT的人機交互是一個巨大的市場，并由此帶來了對AI芯片的巨大需求沟于。但在AI芯片的落地過程中咳胃，面臨著研發(fā)、產(chǎn)品定位以及商業(yè)化路徑等多方面的挑戰(zhàn)旷太。在研發(fā)方面展懈，需要針對實際采用的AI算法進行深度迭代優(yōu)化，以滿足產(chǎn)品需求并保持架構的靈活性祟勿；在產(chǎn)品定位方面停柬，鑒于IoT設備碎片化的現(xiàn)實，必須先考慮應用場景和適用范圍耀旅，由此再倒推AI芯片的功能和性能要求盯糠；在商業(yè)化路徑方面，最終客戶需要的往往是整體解決方案而非芯片本身枷辫，因此如何構建一個完整的AI解決方案涤瘸，是每個AI芯片玩家必須考慮的事情。