人工智能不再準備著有朝一日改變世界，而是正在改變世界枫慷。在我們邁入新的一年和十年之際让蕾，VentureBeat邀請了人工智能領(lǐng)域敏銳的一些人，重新審視了2019年取得的成就或听，并展望了機器學(xué)習(xí)在2020年將如何成熟探孝。
每個人都有對未來一年的預(yù)測，但這些人正在塑造今天的未來誉裆，他們珍視科學(xué)追求迈堂，他們的經(jīng)歷為其贏得了信譽。盡管一些人預(yù)測在諸如半監(jiān)督學(xué)習(xí)和神經(jīng)符號方法等子領(lǐng)域會有進步捶卧，但幾乎所有ML領(lǐng)域的杰出人士都表示耀佣，在2019年基于Transformer的自然語言模型方面取得了巨大進步，并預(yù)計在面部識別等技術(shù)方面會繼續(xù)存在爭議疲飘。他們還希望看到人工智能領(lǐng)域發(fā)展出比準確性更有價值的東西拂是。
Soumith Chintala
PyTorch的負責(zé)人、首席工程師和創(chuàng)建者
不管你如何評價辟侠，PyTorch是當(dāng)今世界上受歡迎的機器學(xué)習(xí)框架逃缔。 PyTorch是2002年引入的Torch開源框架的衍生產(chǎn)品，于2015年可用眨柑，并且在擴展和庫中穩(wěn)步增長泄廓。
今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3坪腔，以及深度學(xué)習(xí)可解釋性工具Captum和PyTorch Mobile权浸。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵ML從業(yè)者支持可重復(fù)性吏口。
今年秋天在PyTorch開發(fā)大會上奄容，Chintala在與VentureBeat的一次對話中表示，他在2019年的機器學(xué)習(xí)中幾乎沒有突破性進展产徊。
“實際上昂勒，我認為我們沒有開創(chuàng)性的東西……基本上是從Transformer開始的蜀细。我們的ConvNets在2012年達到黃金時段，而Transformer在2017年左右戈盈。這是我的個人看法奠衔。”他說。
他繼續(xù)稱DeepMind的AlphaGo在強化學(xué)習(xí)方面的貢獻是開創(chuàng)性的塘娶，但是他說归斤，這些成果很難應(yīng)用到現(xiàn)實世界的實際任務(wù)中。
Chintala還認為刁岸，機器學(xué)習(xí)框架(如PyTorch和谷歌的TensorFlow)的發(fā)展已改變了研究人員探索思想和開展工作的方式脏里，這些機器學(xué)習(xí)框架在當(dāng)今的ML從業(yè)者中廣受歡迎。
他說：“從某種意義上說虹曙，這是一個突破迫横，它使他們移動的速度比以前快了一兩個數(shù)量級。”
今年垮允，谷歌和Facebook的開源框架引入了量化籍喧，以提高模型訓(xùn)練的速度。在未來的幾年中蒿缎，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率飛速增長铃踪。
“借助PyTorch和TensorFlow，你已經(jīng)看到了框架的融合菠告。出現(xiàn)量化的原因漏碰，以及其他一系列較低級別的效率，是因為下一場戰(zhàn)爭是框架的編譯器——XLA蚜冀，TVM肯铣，PyTorch擁有Glow，許多創(chuàng)新正在等待發(fā)生逞扰。”他說诉鸯，“在接下來的幾年中，你將看到……如何更智能地量化唾浙，如何更好地融合躬挺，如何更有效地使用GPU，以及如何自動為新硬件進行編譯蛮放。”
像大多數(shù)其他行業(yè)領(lǐng)導(dǎo)者那樣缩抡，Chintala預(yù)測AI社區(qū)將在2020年之前將更多的價值放在AI模型性能上，而不僅僅是準確性包颁，并開始將注意力轉(zhuǎn)向其他重要因素瞻想，例如創(chuàng)建模型所需的權(quán)重，如何向人類解釋輸出娩嚼，以及AI如何更好地反映人們想要建立的社會類型蘑险。
“如果思考一下過去的五滴肿、六年，我們只是關(guān)注準確性漠其，而原始數(shù)據(jù)如英偉達的模型是否更準確? Facebook的模型更準確嗎?'”他說嘴高， “我實際上認為2020年將是我們開始(以更復(fù)雜的方式)進行思考的一年竿音，如果你的模型……沒有良好的互操作性機制(或滿足其他標準)和屎，你的模型是否比現(xiàn)在精確3%并不重要。”
塞萊斯特·基德(Celeste Kidd)
加州大學(xué)伯克利分校的發(fā)展心理學(xué)家
塞萊斯特·基德(Celeste Kidd)是加州大學(xué)伯克利分写核玻基德實驗室的主任柴信，她和她的團隊在這里探索孩子們的學(xué)習(xí)方式。他們的見解可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)建者费犯，這些人正試圖以一種與養(yǎng)育孩子差不多的方式來訓(xùn)練模型浸弦。
她說：“人類嬰兒沒有被標記的數(shù)據(jù)集，但它們管理得很好绷冈，對我們來說重要的是要了解這種情況弹噩。”
讓基德在2019年感到驚訝的一件事是，神經(jīng)網(wǎng)絡(luò)創(chuàng)建者的數(shù)量隨隨便便救貶低了自己或其他研究人員的工作帐等，因為他們無法做嬰兒可以做的事情国赫。
她說，當(dāng)你將嬰兒的行為平均化時颤赤，您會看到有證據(jù)表明他們了解某些東西勉窟，但他們不是理想的學(xué)習(xí)者，而這種談話對嬰兒的能力描繪得過于樂觀暑锈。
她說：“人類嬰兒很棒糊批，但他們犯了很多錯誤，而且我經(jīng)嘲洌看到人們隨便進行的許多比較叛赚，都是把嬰兒行為在人口層面上理想化了。” “我認為稽揭，對于目前了解的內(nèi)容與你接下來想要了解的內(nèi)容之間的聯(lián)系俺附，人們很可能會越來越有辨別力。”
在人工智能中淀衣，“黑匣子”這個詞已經(jīng)存在多年了昙读。它曾經(jīng)用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但基德認為2020年可能意味著神經(jīng)網(wǎng)絡(luò)不可解釋的觀念的終結(jié)膨桥。
她說：“黑匣子的論點是虛假的……大腦也是黑匣子蛮浑，我們在理解大腦如何工作方面取得了很大進步。”
在揭開這種對神經(jīng)網(wǎng)絡(luò)的認識的神秘面紗時只嚣，基德研究了像麻省理工學(xué)院- IBM沃森人工智能實驗室(MIT-IBM Watson AI Lab)執(zhí)行主任奧德·奧利瓦(Aude Oliva)這樣的人的工作沮稚。
“我們當(dāng)時在談?wù)撨@個問題艺沼，我說了有關(guān)該系統(tǒng)是黑匣子的事情，她合理地譴責(zé)了我蕴掏，說他們當(dāng)然不是黑匣子蹈瑟。當(dāng)然敢铲，你可以將它們分解并將它們拆開，看看它們?nèi)绾喂ぷ鞑ζ溥M行實驗，就像我們?yōu)槔斫庹J知所做的一樣匹憎。”基德說苇羡。
上個月猩烘，基德在神經(jīng)信息處理系統(tǒng)(NeurIPS)會議上發(fā)表了開幕式主題演講邦叶。她的演講重點關(guān)注人腦如何固守頑固的信念，注意力系統(tǒng)和貝葉斯統(tǒng)計勤友。
她說狡允，信息傳遞的“舒適區(qū)”介于一個人之前的興趣和理解與他們感到驚訝的東西之間。人們傾向于較少接觸那些過于令人驚訝的內(nèi)容李联。
然后她說页本，不存在中立的技術(shù)平臺，于是她把注意力轉(zhuǎn)向內(nèi)容推薦系統(tǒng)的制造商如何操縱人們的信念睬够。為了追求參與而構(gòu)建的系統(tǒng)會對人們?nèi)绾涡纬尚拍詈陀^點產(chǎn)生重大影響壮才。
基德在演講中談到了機器學(xué)習(xí)中男性的誤解，即與女性同事獨自一人會導(dǎo)致指控并結(jié)束男性職業(yè)雁唁。她說俱竭，這種誤解反而會損害女性在該領(lǐng)域的職業(yè)。
由于在羅切斯特大學(xué)發(fā)表有關(guān)性行為不端的言論车份，基德與其他女性一起被評為2017年度“年度人物”谋减，這些女性幫助實現(xiàn)了我們現(xiàn)在所說的“平等對待婦女運動”。當(dāng)時扫沼，基德認為大聲疾呼將結(jié)束她的職業(yè)生涯出爹。
她希望在2020年看到人們越來越意識到技術(shù)工具和技術(shù)決策對現(xiàn)實生活的影響，并拒絕認為工具制造商對人們的使用行為不負責(zé)任的觀點缎除。
她說：“我聽到很多人試圖說'‘我不是真理的審判人’來為自己辯護严就。” “我認為必須提高對這是不誠實立場的認識。”
“在一個社會器罐，尤其是作為使用這些工具的人們梢为，我們真的需要直接意識到隨之而來的責(zé)任。”
杰夫·迪恩(Jeff Dean)
谷歌AI總監(jiān)
迪恩領(lǐng)導(dǎo)Google AI已有近兩年時間轰坊，但他已經(jīng)在谷歌工作了二十年铸董，是谷歌早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員肴沫。
迪恩上個月在NeurIPS上與VentureBeat進行了交談粟害，在那里他就ASIC半導(dǎo)體設(shè)計的機器學(xué)習(xí)以及AI社區(qū)應(yīng)對氣候變化的方式進行了演講蕴忆，他說這是我們時代重要的問題。在關(guān)于氣候變化的討論中脏貌，迪恩討論了AI可以努力成為零碳行業(yè)以及AI可以用來幫助改變?nèi)祟愋袨榈南敕ā?/span>
他預(yù)計到2020年泡煌，多模式學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M展，這是一種依靠多種媒體進行訓(xùn)練的AI站绑，而多任務(wù)學(xué)習(xí)則涉及旨在一次完成多個任務(wù)的網(wǎng)絡(luò)焦莉。
毫無疑問，2019年的機器學(xué)習(xí)趨勢之一是基于Transformer的自然語言模型的持續(xù)增長和擴散荠划，此前模型Chintala被稱為近年來人工智能的突破之一恕下。 谷歌于2018年開源了基于Transformer的模型BERT截抄。根據(jù)GLUE排行榜刘纸，今年發(fā)布的許多高性能的模型(例如Google的XLNet，微軟的MT-DNN和Facebook的RoBERTa)都基于Transformer掰弯。公司發(fā)言人告訴VentureBeat侈滚，XLNet 2將于本月晚些時候發(fā)布。
迪恩指出了已經(jīng)取得的進展窍颗，他說：“ ...我認為整個研究線程在實際產(chǎn)生機器學(xué)習(xí)模型方面非常富有成效坞角，[現(xiàn)在讓我們]做的機器學(xué)習(xí)模型比過去能夠完成的復(fù)雜得多。但是他補充說吸占，仍有增長空間晴叨。“我們?nèi)匀幌Ｍ軌騽?chuàng)建更多情境的模型。像現(xiàn)在這樣矾屯，BERT和其他模型可以很好地處理數(shù)百個單詞兼蕊，但不能作為處理上下文的10,000個單詞。因此件蚕，這是[有趣的方向孙技。”
迪恩說，他希望少強調(diào)一些新技術(shù)排作，而傾向于創(chuàng)建更強大的模型牵啦。
Google AI還將努力推進新的舉措，例如Everyday Robot妄痪，這是一個于2019年11月推出的內(nèi)部項目哈雏，旨在制造能夠在家庭和工作場所完成常見任務(wù)的機器人。
Anima Anandkumar
英偉達機器學(xué)習(xí)研究總監(jiān)
Anandkumar在擔(dān)任AWS首席科學(xué)家后加入了GPU制造商英偉達衫生。在英偉達裳瘪，人工智能研究在多個領(lǐng)域進行，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動駕駛辰诉，超級計算機和圖形學(xué)圣治。
英偉達和Anandkumar在2019年的重點領(lǐng)域之一是強化學(xué)習(xí)的仿真框架越客，這些框架越來越受歡迎且成熟。
在2019年辙紧，我們看到了英偉達的Drive autonomus駕駛平臺和Isaac機器人模擬器的興起瀑兜，以及從模擬和生成對抗網(wǎng)絡(luò)或GAN生成綜合數(shù)據(jù)的模型的興起。
去年還迎來了AI的興起苟可，例如StyleGAN(一種可以使人們分辨不出自己看到的是計算機生成的人臉還是真實的人的網(wǎng)絡(luò))和GauGAN(可以用畫筆生成風(fēng)景的網(wǎng)絡(luò))按翅。 StyleGAN2上個月首次亮相。
GAN是可以模糊現(xiàn)實界限的技術(shù)想阎，Anandkumar認為憾侮，它們可以幫助AI社區(qū)嘗試解決的主要挑戰(zhàn)，例如抓握機械臂和自動駕駛瓤梦。
Anandkumar還希望未來一年通過迭代算法选畴、自我監(jiān)督和訓(xùn)練模型的自訓(xùn)練方法取得進展，這些模型可以通過對未標記數(shù)據(jù)進行自我訓(xùn)練來改進辙使。
“我認為各種不同的迭代算法都是未來作瞄，因為如果你只做一個前饋網(wǎng)絡(luò)，那么魯棒性就成為問題危纫。”她說：“如果你嘗試進行多次迭代宗挥，并根據(jù)所需的數(shù)據(jù)類型或精度要求對迭代進行調(diào)整，那么實現(xiàn)這一目標的機會就更多了种蝶。”
Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)契耿，例如需要與各領(lǐng)域?qū)＜乙坏绖?chuàng)建專門針對特定行業(yè)的模型。決策者螃征、個人和AI社區(qū)也將需要解決代表性問題搪桂，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠涵蓋不同人群的挑戰(zhàn)。
她說：“我認為[面部識別問題]很容易掌握会傲，但是在很多[其他領(lǐng)域]……人們沒有意識到使用數(shù)據(jù)存在隱私問題锅棕。”
Anandkumar說，面部識別得到了關(guān)注淌山，因為很容易理解面部識別如何侵犯個人隱私裸燎，但是AI社區(qū)在2020年還面臨許多其他道德問題。
“我們將在數(shù)據(jù)收集方式和使用方式方面進行越來越嚴格的審查泼疑。這種情況正在歐洲發(fā)生德绿，但是在美國，我們肯定會看到更多這樣的情況闸声，而且出于正確的理由彻盐，我們會看到更多這樣的情況，比如國家運輸安全委員會和聯(lián)邦運輸管理局。”她說晕忙。
在Anandkumar看來交鹊，2019年的一大驚喜是文本生成模型的發(fā)展速度。
“ 2019年是語言模型之年膛画，對嗎?現(xiàn)在酥盼，我們第一次在段落長度上達到了更加連貫的文本生成，這在以前是不可能的癞亩，但現(xiàn)在已經(jīng)很好了传等。”Anandkumar說。
2019年8月绪痘，英偉達推出了Megatron自然語言模型鹉奸。Megatron擁有80億個參數(shù)，是基于Transformer的AI模型钱雷。 Anandkumar說骂铁，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業(yè)的文本模型急波。
“我們還沒有達到產(chǎn)生對話的階段从铲，這種對話是互動的，可以跟蹤并進行自然的對話澄暮。所以我認為，到2020年阱扬，在這個方向上將會有更多認真的嘗試泣懊。”她說。
例如麻惶，開發(fā)用于控制文本生成的框架要比開發(fā)用于識別人或?qū)ο蟮膱D像的框架更具挑戰(zhàn)性馍刮。文本生成模型還可能面臨例如為神經(jīng)模型定義事實的挑戰(zhàn)。
最后窃蹋，Anandkumar說卡啰，她很高興看到基德在NeurIPS上的演講獲得了起立鼓掌，并且被機器學(xué)習(xí)社區(qū)中越來越成熟和包容的跡象所鼓舞警没。
“我覺得現(xiàn)在是分水嶺匕冠。” 她說， “一開始甚至很難做些小改動患赏，然后大壩就破裂了逾族。我希望是這樣，因為在我看來界北，我希望保持這種勢頭床斜，并進行更大的結(jié)構(gòu)改革，并使所有小組，這里的每個人都蓬勃發(fā)展好侈。”
達里奧·吉爾(Dario Gil)
IBM研究總監(jiān)
吉爾領(lǐng)導(dǎo)的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務(wù)超茎。他認為，2019年的重大飛躍包括圍繞生成模型的進步瞻聪，以及生成可信語言的質(zhì)量不斷提高芙掖。
他預(yù)測，在降低精度的體系結(jié)構(gòu)上绝迁，更有效的培訓(xùn)將繼續(xù)取得進展伊镐。更高效的AI模型的開發(fā)是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學(xué)習(xí)技術(shù)鹃栽。
他說:“我們用現(xiàn)有的硬件和GPU架構(gòu)來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)躏率，其效率仍然很低。”因此民鼓，對這個問題進行根本性的反思是非常重要的薇芝。我們必須提高人工智能的計算效率，這樣我們才能做得更多丰嘉。”
吉爾引用研究表明夯到，對機器學(xué)習(xí)訓(xùn)練的需求每三個半月翻一番，這比摩爾定律所預(yù)測的增長快得多饮亏。
吉爾也對AI如何幫助加速科學(xué)發(fā)現(xiàn)感到興奮耍贾，但是IBM Research將主要專注于機器學(xué)習(xí)的神經(jīng)符號方法。
吉爾希望AI從業(yè)者和研究人員將專注于準確性以外的指標路幸，以考慮生產(chǎn)中部署的模型的價值荐开。將該領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是把準確性放在首位简肴，這將是繼續(xù)采用AI的中心支柱晃听。
“社區(qū)中有些人可能會繼續(xù)說，‘不用擔(dān)心尚羽，只要提供準確性呛米。沒關(guān)系，人們會習(xí)慣這個東西有點像黑匣子拌驻，”或者他們會提出這樣的論點洒已，即人們有時不會對我們做出的某些決定產(chǎn)生解釋。我認為凳贰，非常重要的一點是市通，我們要集中社區(qū)的知識力量，在此方面做得更好哗励。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用程序的黑匣子苫瘾。”
吉爾相信要擺脫這樣的觀念，即只有少數(shù)機器學(xué)習(xí)向?qū)Р拍茏龅紸I，以確保更多的具有數(shù)據(jù)科學(xué)和軟件工程技能的人采用AI湃彻。
他說：“如果我們把它作為一個神秘領(lǐng)域托祖，那就是AI的領(lǐng)域，只對從事這方面研究的博士開放短酵，它并不能真正促進人工智能的應(yīng)用舟肉。”
在來年，吉爾對神經(jīng)符號AI特別感興趣查库。 IBM將尋求神經(jīng)符號方法來增強諸如概率性編程之類的功能路媚，其中AI將學(xué)習(xí)如何操作程序以及可共享其決策背后原因的模型。
他說:“通過采用這種混合的方法樊销，一種新的當(dāng)代方法整慎，通過這些神經(jīng)符號方法，把學(xué)習(xí)和推理結(jié)合在一起围苫。在這種方法中裤园，符號維度嵌入到學(xué)習(xí)程序中。我們已經(jīng)證明剂府，你可用所需數(shù)據(jù)的一小部分來學(xué)習(xí)拧揽。”“因為你學(xué)了一個程序，你最終得到了一些可解釋的東西腺占，并且因為你有了一些可解釋的東西淤袜，你得到了一些更可信的東西。”
他說湾笛，公平性梭唆，數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問題將繼續(xù)引起人們的廣泛關(guān)注，“與生物識別技術(shù)有關(guān)的任何事情也將如此”蟋真。面部識別得到了很多關(guān)注，但這僅僅是開始铐坠。語音數(shù)據(jù)以及其他形式的生物識別技術(shù)將越來越具有敏感性酷它。他繼續(xù)引用了哥倫比亞大學(xué)教授Rafael Yuste的話，他從事神經(jīng)技術(shù)研究遂涛，并正在探索提取視覺皮層上神經(jīng)模式的方法悦阿。
吉爾說：“我以這個例子為例，所有與身份乏乔、人的生物特征以及人工智能在分析方面取得的進步丝板，將繼續(xù)處于前沿和中心位置。”
除了神經(jīng)符號和常識推理(MIT-IBM沃森實驗室的一項旗艦計劃外)蜂镇，吉爾于2020年表示吓篙，IBM Research還將探索AI量子計算，以及AI模擬硬件，而不僅僅是降低精度的架構(gòu)深怕。
總結(jié)
機器學(xué)習(xí)正在繼續(xù)塑造商業(yè)和社會杏死，VentureBeat采訪的研究人員和專家看到了一些即將出現(xiàn)的趨勢:
隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的主要故事捆交。在2020年尋找更多基于BERT和基于Transformer的模型的變體淑翼。
人工智能行業(yè)應(yīng)該尋找方法來評估模型輸出的準確性。
諸如半監(jiān)督學(xué)習(xí)品追，機器學(xué)習(xí)的神經(jīng)符號方法之類的方法以及諸如多任務(wù)和多模式學(xué)習(xí)之類的子領(lǐng)域可能會在明年出現(xiàn)玄括。
與生物統(tǒng)計數(shù)據(jù)(如語音記錄)相關(guān)的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。
量化之類的編譯器和方法可能會在諸如PyTorch和TensorFlow之類的機器學(xué)習(xí)框架中作為優(yōu)化模型性能的方式而流行肉瓦。
每個人都有對未來一年的預(yù)測，但這些人正在塑造今天的未來誉裆，他們珍視科學(xué)追求迈堂，他們的經(jīng)歷為其贏得了信譽。盡管一些人預(yù)測在諸如半監(jiān)督學(xué)習(xí)和神經(jīng)符號方法等子領(lǐng)域會有進步捶卧，但幾乎所有ML領(lǐng)域的杰出人士都表示耀佣，在2019年基于Transformer的自然語言模型方面取得了巨大進步，并預(yù)計在面部識別等技術(shù)方面會繼續(xù)存在爭議疲飘。他們還希望看到人工智能領(lǐng)域發(fā)展出比準確性更有價值的東西拂是。
Soumith Chintala
PyTorch的負責(zé)人、首席工程師和創(chuàng)建者
不管你如何評價辟侠，PyTorch是當(dāng)今世界上受歡迎的機器學(xué)習(xí)框架逃缔。 PyTorch是2002年引入的Torch開源框架的衍生產(chǎn)品，于2015年可用眨柑，并且在擴展和庫中穩(wěn)步增長泄廓。
今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3坪腔，以及深度學(xué)習(xí)可解釋性工具Captum和PyTorch Mobile权浸。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵ML從業(yè)者支持可重復(fù)性吏口。
今年秋天在PyTorch開發(fā)大會上奄容，Chintala在與VentureBeat的一次對話中表示，他在2019年的機器學(xué)習(xí)中幾乎沒有突破性進展产徊。
“實際上昂勒，我認為我們沒有開創(chuàng)性的東西……基本上是從Transformer開始的蜀细。我們的ConvNets在2012年達到黃金時段，而Transformer在2017年左右戈盈。這是我的個人看法奠衔。”他說。
他繼續(xù)稱DeepMind的AlphaGo在強化學(xué)習(xí)方面的貢獻是開創(chuàng)性的塘娶，但是他說归斤，這些成果很難應(yīng)用到現(xiàn)實世界的實際任務(wù)中。
Chintala還認為刁岸，機器學(xué)習(xí)框架(如PyTorch和谷歌的TensorFlow)的發(fā)展已改變了研究人員探索思想和開展工作的方式脏里，這些機器學(xué)習(xí)框架在當(dāng)今的ML從業(yè)者中廣受歡迎。
他說：“從某種意義上說虹曙，這是一個突破迫横，它使他們移動的速度比以前快了一兩個數(shù)量級。”
今年垮允，谷歌和Facebook的開源框架引入了量化籍喧，以提高模型訓(xùn)練的速度。在未來的幾年中蒿缎，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率飛速增長铃踪。
“借助PyTorch和TensorFlow，你已經(jīng)看到了框架的融合菠告。出現(xiàn)量化的原因漏碰，以及其他一系列較低級別的效率，是因為下一場戰(zhàn)爭是框架的編譯器——XLA蚜冀，TVM肯铣，PyTorch擁有Glow，許多創(chuàng)新正在等待發(fā)生逞扰。”他說诉鸯，“在接下來的幾年中，你將看到……如何更智能地量化唾浙，如何更好地融合躬挺，如何更有效地使用GPU，以及如何自動為新硬件進行編譯蛮放。”
像大多數(shù)其他行業(yè)領(lǐng)導(dǎo)者那樣缩抡，Chintala預(yù)測AI社區(qū)將在2020年之前將更多的價值放在AI模型性能上，而不僅僅是準確性包颁，并開始將注意力轉(zhuǎn)向其他重要因素瞻想，例如創(chuàng)建模型所需的權(quán)重，如何向人類解釋輸出娩嚼，以及AI如何更好地反映人們想要建立的社會類型蘑险。
“如果思考一下過去的五滴肿、六年，我們只是關(guān)注準確性漠其，而原始數(shù)據(jù)如英偉達的模型是否更準確? Facebook的模型更準確嗎?'”他說嘴高， “我實際上認為2020年將是我們開始(以更復(fù)雜的方式)進行思考的一年竿音，如果你的模型……沒有良好的互操作性機制(或滿足其他標準)和屎，你的模型是否比現(xiàn)在精確3%并不重要。”
塞萊斯特·基德(Celeste Kidd)
加州大學(xué)伯克利分校的發(fā)展心理學(xué)家
塞萊斯特·基德(Celeste Kidd)是加州大學(xué)伯克利分写核玻基德實驗室的主任柴信，她和她的團隊在這里探索孩子們的學(xué)習(xí)方式。他們的見解可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)建者费犯，這些人正試圖以一種與養(yǎng)育孩子差不多的方式來訓(xùn)練模型浸弦。
她說：“人類嬰兒沒有被標記的數(shù)據(jù)集，但它們管理得很好绷冈，對我們來說重要的是要了解這種情況弹噩。”
讓基德在2019年感到驚訝的一件事是，神經(jīng)網(wǎng)絡(luò)創(chuàng)建者的數(shù)量隨隨便便救貶低了自己或其他研究人員的工作帐等，因為他們無法做嬰兒可以做的事情国赫。
她說，當(dāng)你將嬰兒的行為平均化時颤赤，您會看到有證據(jù)表明他們了解某些東西勉窟，但他們不是理想的學(xué)習(xí)者，而這種談話對嬰兒的能力描繪得過于樂觀暑锈。
她說：“人類嬰兒很棒糊批，但他們犯了很多錯誤，而且我經(jīng)嘲洌看到人們隨便進行的許多比較叛赚，都是把嬰兒行為在人口層面上理想化了。” “我認為稽揭，對于目前了解的內(nèi)容與你接下來想要了解的內(nèi)容之間的聯(lián)系俺附，人們很可能會越來越有辨別力。”
在人工智能中淀衣，“黑匣子”這個詞已經(jīng)存在多年了昙读。它曾經(jīng)用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但基德認為2020年可能意味著神經(jīng)網(wǎng)絡(luò)不可解釋的觀念的終結(jié)膨桥。
她說：“黑匣子的論點是虛假的……大腦也是黑匣子蛮浑，我們在理解大腦如何工作方面取得了很大進步。”
在揭開這種對神經(jīng)網(wǎng)絡(luò)的認識的神秘面紗時只嚣，基德研究了像麻省理工學(xué)院- IBM沃森人工智能實驗室(MIT-IBM Watson AI Lab)執(zhí)行主任奧德·奧利瓦(Aude Oliva)這樣的人的工作沮稚。
“我們當(dāng)時在談?wù)撨@個問題艺沼，我說了有關(guān)該系統(tǒng)是黑匣子的事情，她合理地譴責(zé)了我蕴掏，說他們當(dāng)然不是黑匣子蹈瑟。當(dāng)然敢铲，你可以將它們分解并將它們拆開，看看它們?nèi)绾喂ぷ鞑ζ溥M行實驗，就像我們?yōu)槔斫庹J知所做的一樣匹憎。”基德說苇羡。
上個月猩烘，基德在神經(jīng)信息處理系統(tǒng)(NeurIPS)會議上發(fā)表了開幕式主題演講邦叶。她的演講重點關(guān)注人腦如何固守頑固的信念，注意力系統(tǒng)和貝葉斯統(tǒng)計勤友。
她說狡允，信息傳遞的“舒適區(qū)”介于一個人之前的興趣和理解與他們感到驚訝的東西之間。人們傾向于較少接觸那些過于令人驚訝的內(nèi)容李联。
然后她說页本，不存在中立的技術(shù)平臺，于是她把注意力轉(zhuǎn)向內(nèi)容推薦系統(tǒng)的制造商如何操縱人們的信念睬够。為了追求參與而構(gòu)建的系統(tǒng)會對人們?nèi)绾涡纬尚拍詈陀^點產(chǎn)生重大影響壮才。
基德在演講中談到了機器學(xué)習(xí)中男性的誤解，即與女性同事獨自一人會導(dǎo)致指控并結(jié)束男性職業(yè)雁唁。她說俱竭，這種誤解反而會損害女性在該領(lǐng)域的職業(yè)。
由于在羅切斯特大學(xué)發(fā)表有關(guān)性行為不端的言論车份，基德與其他女性一起被評為2017年度“年度人物”谋减，這些女性幫助實現(xiàn)了我們現(xiàn)在所說的“平等對待婦女運動”。當(dāng)時扫沼，基德認為大聲疾呼將結(jié)束她的職業(yè)生涯出爹。
她希望在2020年看到人們越來越意識到技術(shù)工具和技術(shù)決策對現(xiàn)實生活的影響，并拒絕認為工具制造商對人們的使用行為不負責(zé)任的觀點缎除。
她說：“我聽到很多人試圖說'‘我不是真理的審判人’來為自己辯護严就。” “我認為必須提高對這是不誠實立場的認識。”
“在一個社會器罐，尤其是作為使用這些工具的人們梢为，我們真的需要直接意識到隨之而來的責(zé)任。”
杰夫·迪恩(Jeff Dean)
谷歌AI總監(jiān)
迪恩領(lǐng)導(dǎo)Google AI已有近兩年時間轰坊，但他已經(jīng)在谷歌工作了二十年铸董，是谷歌早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員肴沫。
迪恩上個月在NeurIPS上與VentureBeat進行了交談粟害，在那里他就ASIC半導(dǎo)體設(shè)計的機器學(xué)習(xí)以及AI社區(qū)應(yīng)對氣候變化的方式進行了演講蕴忆，他說這是我們時代重要的問題。在關(guān)于氣候變化的討論中脏貌，迪恩討論了AI可以努力成為零碳行業(yè)以及AI可以用來幫助改變?nèi)祟愋袨榈南敕ā?/span>
他預(yù)計到2020年泡煌，多模式學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M展，這是一種依靠多種媒體進行訓(xùn)練的AI站绑，而多任務(wù)學(xué)習(xí)則涉及旨在一次完成多個任務(wù)的網(wǎng)絡(luò)焦莉。
毫無疑問，2019年的機器學(xué)習(xí)趨勢之一是基于Transformer的自然語言模型的持續(xù)增長和擴散荠划，此前模型Chintala被稱為近年來人工智能的突破之一恕下。 谷歌于2018年開源了基于Transformer的模型BERT截抄。根據(jù)GLUE排行榜刘纸，今年發(fā)布的許多高性能的模型(例如Google的XLNet，微軟的MT-DNN和Facebook的RoBERTa)都基于Transformer掰弯。公司發(fā)言人告訴VentureBeat侈滚，XLNet 2將于本月晚些時候發(fā)布。
迪恩指出了已經(jīng)取得的進展窍颗，他說：“ ...我認為整個研究線程在實際產(chǎn)生機器學(xué)習(xí)模型方面非常富有成效坞角，[現(xiàn)在讓我們]做的機器學(xué)習(xí)模型比過去能夠完成的復(fù)雜得多。但是他補充說吸占，仍有增長空間晴叨。“我們?nèi)匀幌Ｍ軌騽?chuàng)建更多情境的模型。像現(xiàn)在這樣矾屯，BERT和其他模型可以很好地處理數(shù)百個單詞兼蕊，但不能作為處理上下文的10,000個單詞。因此件蚕，這是[有趣的方向孙技。”
迪恩說，他希望少強調(diào)一些新技術(shù)排作，而傾向于創(chuàng)建更強大的模型牵啦。
Google AI還將努力推進新的舉措，例如Everyday Robot妄痪，這是一個于2019年11月推出的內(nèi)部項目哈雏，旨在制造能夠在家庭和工作場所完成常見任務(wù)的機器人。
Anima Anandkumar
英偉達機器學(xué)習(xí)研究總監(jiān)
Anandkumar在擔(dān)任AWS首席科學(xué)家后加入了GPU制造商英偉達衫生。在英偉達裳瘪，人工智能研究在多個領(lǐng)域進行，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動駕駛辰诉，超級計算機和圖形學(xué)圣治。
英偉達和Anandkumar在2019年的重點領(lǐng)域之一是強化學(xué)習(xí)的仿真框架越客，這些框架越來越受歡迎且成熟。
在2019年辙紧，我們看到了英偉達的Drive autonomus駕駛平臺和Isaac機器人模擬器的興起瀑兜，以及從模擬和生成對抗網(wǎng)絡(luò)或GAN生成綜合數(shù)據(jù)的模型的興起。
去年還迎來了AI的興起苟可，例如StyleGAN(一種可以使人們分辨不出自己看到的是計算機生成的人臉還是真實的人的網(wǎng)絡(luò))和GauGAN(可以用畫筆生成風(fēng)景的網(wǎng)絡(luò))按翅。 StyleGAN2上個月首次亮相。
GAN是可以模糊現(xiàn)實界限的技術(shù)想阎，Anandkumar認為憾侮，它們可以幫助AI社區(qū)嘗試解決的主要挑戰(zhàn)，例如抓握機械臂和自動駕駛瓤梦。
Anandkumar還希望未來一年通過迭代算法选畴、自我監(jiān)督和訓(xùn)練模型的自訓(xùn)練方法取得進展，這些模型可以通過對未標記數(shù)據(jù)進行自我訓(xùn)練來改進辙使。
“我認為各種不同的迭代算法都是未來作瞄，因為如果你只做一個前饋網(wǎng)絡(luò)，那么魯棒性就成為問題危纫。”她說：“如果你嘗試進行多次迭代宗挥，并根據(jù)所需的數(shù)據(jù)類型或精度要求對迭代進行調(diào)整，那么實現(xiàn)這一目標的機會就更多了种蝶。”
Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)契耿，例如需要與各領(lǐng)域?qū)＜乙坏绖?chuàng)建專門針對特定行業(yè)的模型。決策者螃征、個人和AI社區(qū)也將需要解決代表性問題搪桂，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠涵蓋不同人群的挑戰(zhàn)。
她說：“我認為[面部識別問題]很容易掌握会傲，但是在很多[其他領(lǐng)域]……人們沒有意識到使用數(shù)據(jù)存在隱私問題锅棕。”
Anandkumar說，面部識別得到了關(guān)注淌山，因為很容易理解面部識別如何侵犯個人隱私裸燎，但是AI社區(qū)在2020年還面臨許多其他道德問題。
“我們將在數(shù)據(jù)收集方式和使用方式方面進行越來越嚴格的審查泼疑。這種情況正在歐洲發(fā)生德绿，但是在美國，我們肯定會看到更多這樣的情況闸声，而且出于正確的理由彻盐，我們會看到更多這樣的情況，比如國家運輸安全委員會和聯(lián)邦運輸管理局。”她說晕忙。
在Anandkumar看來交鹊，2019年的一大驚喜是文本生成模型的發(fā)展速度。
“ 2019年是語言模型之年膛画，對嗎?現(xiàn)在酥盼，我們第一次在段落長度上達到了更加連貫的文本生成，這在以前是不可能的癞亩，但現(xiàn)在已經(jīng)很好了传等。”Anandkumar說。
2019年8月绪痘，英偉達推出了Megatron自然語言模型鹉奸。Megatron擁有80億個參數(shù)，是基于Transformer的AI模型钱雷。 Anandkumar說骂铁，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業(yè)的文本模型急波。
“我們還沒有達到產(chǎn)生對話的階段从铲，這種對話是互動的，可以跟蹤并進行自然的對話澄暮。所以我認為，到2020年阱扬，在這個方向上將會有更多認真的嘗試泣懊。”她說。
例如麻惶，開發(fā)用于控制文本生成的框架要比開發(fā)用于識別人或?qū)ο蟮膱D像的框架更具挑戰(zhàn)性馍刮。文本生成模型還可能面臨例如為神經(jīng)模型定義事實的挑戰(zhàn)。
最后窃蹋，Anandkumar說卡啰，她很高興看到基德在NeurIPS上的演講獲得了起立鼓掌，并且被機器學(xué)習(xí)社區(qū)中越來越成熟和包容的跡象所鼓舞警没。
“我覺得現(xiàn)在是分水嶺匕冠。” 她說， “一開始甚至很難做些小改動患赏，然后大壩就破裂了逾族。我希望是這樣，因為在我看來界北，我希望保持這種勢頭床斜，并進行更大的結(jié)構(gòu)改革，并使所有小組，這里的每個人都蓬勃發(fā)展好侈。”
達里奧·吉爾(Dario Gil)
IBM研究總監(jiān)
吉爾領(lǐng)導(dǎo)的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務(wù)超茎。他認為，2019年的重大飛躍包括圍繞生成模型的進步瞻聪，以及生成可信語言的質(zhì)量不斷提高芙掖。
他預(yù)測，在降低精度的體系結(jié)構(gòu)上绝迁，更有效的培訓(xùn)將繼續(xù)取得進展伊镐。更高效的AI模型的開發(fā)是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學(xué)習(xí)技術(shù)鹃栽。
他說:“我們用現(xiàn)有的硬件和GPU架構(gòu)來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)躏率，其效率仍然很低。”因此民鼓，對這個問題進行根本性的反思是非常重要的薇芝。我們必須提高人工智能的計算效率，這樣我們才能做得更多丰嘉。”
吉爾引用研究表明夯到，對機器學(xué)習(xí)訓(xùn)練的需求每三個半月翻一番，這比摩爾定律所預(yù)測的增長快得多饮亏。
吉爾也對AI如何幫助加速科學(xué)發(fā)現(xiàn)感到興奮耍贾，但是IBM Research將主要專注于機器學(xué)習(xí)的神經(jīng)符號方法。
吉爾希望AI從業(yè)者和研究人員將專注于準確性以外的指標路幸，以考慮生產(chǎn)中部署的模型的價值荐开。將該領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是把準確性放在首位简肴，這將是繼續(xù)采用AI的中心支柱晃听。
“社區(qū)中有些人可能會繼續(xù)說，‘不用擔(dān)心尚羽，只要提供準確性呛米。沒關(guān)系，人們會習(xí)慣這個東西有點像黑匣子拌驻，”或者他們會提出這樣的論點洒已，即人們有時不會對我們做出的某些決定產(chǎn)生解釋。我認為凳贰，非常重要的一點是市通，我們要集中社區(qū)的知識力量，在此方面做得更好哗励。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用程序的黑匣子苫瘾。”
吉爾相信要擺脫這樣的觀念，即只有少數(shù)機器學(xué)習(xí)向?qū)Р拍茏龅紸I，以確保更多的具有數(shù)據(jù)科學(xué)和軟件工程技能的人采用AI湃彻。
他說：“如果我們把它作為一個神秘領(lǐng)域托祖，那就是AI的領(lǐng)域，只對從事這方面研究的博士開放短酵，它并不能真正促進人工智能的應(yīng)用舟肉。”
在來年，吉爾對神經(jīng)符號AI特別感興趣查库。 IBM將尋求神經(jīng)符號方法來增強諸如概率性編程之類的功能路媚，其中AI將學(xué)習(xí)如何操作程序以及可共享其決策背后原因的模型。
他說:“通過采用這種混合的方法樊销，一種新的當(dāng)代方法整慎，通過這些神經(jīng)符號方法，把學(xué)習(xí)和推理結(jié)合在一起围苫。在這種方法中裤园，符號維度嵌入到學(xué)習(xí)程序中。我們已經(jīng)證明剂府，你可用所需數(shù)據(jù)的一小部分來學(xué)習(xí)拧揽。”“因為你學(xué)了一個程序，你最終得到了一些可解釋的東西腺占，并且因為你有了一些可解釋的東西淤袜，你得到了一些更可信的東西。”
他說湾笛，公平性梭唆，數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問題將繼續(xù)引起人們的廣泛關(guān)注，“與生物識別技術(shù)有關(guān)的任何事情也將如此”蟋真。面部識別得到了很多關(guān)注，但這僅僅是開始铐坠。語音數(shù)據(jù)以及其他形式的生物識別技術(shù)將越來越具有敏感性酷它。他繼續(xù)引用了哥倫比亞大學(xué)教授Rafael Yuste的話，他從事神經(jīng)技術(shù)研究遂涛，并正在探索提取視覺皮層上神經(jīng)模式的方法悦阿。
吉爾說：“我以這個例子為例，所有與身份乏乔、人的生物特征以及人工智能在分析方面取得的進步丝板，將繼續(xù)處于前沿和中心位置。”
除了神經(jīng)符號和常識推理(MIT-IBM沃森實驗室的一項旗艦計劃外)蜂镇，吉爾于2020年表示吓篙，IBM Research還將探索AI量子計算，以及AI模擬硬件，而不僅僅是降低精度的架構(gòu)深怕。
總結(jié)
機器學(xué)習(xí)正在繼續(xù)塑造商業(yè)和社會杏死，VentureBeat采訪的研究人員和專家看到了一些即將出現(xiàn)的趨勢:
隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的主要故事捆交。在2020年尋找更多基于BERT和基于Transformer的模型的變體淑翼。
人工智能行業(yè)應(yīng)該尋找方法來評估模型輸出的準確性。
諸如半監(jiān)督學(xué)習(xí)品追，機器學(xué)習(xí)的神經(jīng)符號方法之類的方法以及諸如多任務(wù)和多模式學(xué)習(xí)之類的子領(lǐng)域可能會在明年出現(xiàn)玄括。
與生物統(tǒng)計數(shù)據(jù)(如語音記錄)相關(guān)的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。
量化之類的編譯器和方法可能會在諸如PyTorch和TensorFlow之類的機器學(xué)習(xí)框架中作為優(yōu)化模型性能的方式而流行肉瓦。
18221259202