機(jī)器之心原創(chuàng)

記者：趙云峰、趙巍

編輯：老紅

兩年前，知乎作者「謝熊貓君」將「waitbutwhy」上的 The AI Revolution 譯為中文。他巧妙引入「嚇尿指數(shù)」，人工智能也被披上了「玄學(xué)」外衣。

半年前，AlphaGo 對陣?yán)钍纴h。這場「人機(jī)大戰(zhàn)」讓「人工智能」這一并不新鮮的名詞，第一次獲得了大規(guī)模的主流關(guān)注。

興奮、懷疑與惶恐，比挑戰(zhàn)人類智力「試金石」更讓人不知所措的，是站在改變「臨界點」上的迷茫。

「比賽期間有一張讓人印象深刻的照片。照片中一邊是需要千臺機(jī)器的 AlphaGo，另一邊是李世乭和一杯咖啡。大自然的鬼斧神工一直讓人肅然起敬，而這其中最杰出的造物，莫過于我們?nèi)祟愖约?。?/p>

說出這句話的人是田淵棟。在 AlphaGo 和李世乭人機(jī)大戰(zhàn)正酣之時，這位人工智能領(lǐng)域杰出的華人專家因其主導(dǎo)開發(fā)了 Facebook 的人工智能圍棋研究項目 DarkForest 以及在知乎上獨到而專業(yè)的比賽點評，迅速為大眾所熟知。

卡耐基梅隆大學(xué)機(jī)器人系博士、前谷歌無人駕駛汽車項目組研究員、現(xiàn) Facebook 人工智能組研究員，多重身份的加持和前沿、專業(yè)的研究為田淵棟吸引了相當(dāng)多的目光。

「我們要做的，不是成為高談闊論的事前事后評論人，而是去當(dāng)那一兩個先行者。他們才是明白事實真相，才是真正改變歷史軌跡的人?！?/p>

除了前沿研究與技術(shù)創(chuàng)新，他還保持了長期的寫作習(xí)慣。除了早期的個人博客和現(xiàn)今的知乎專欄，田淵棟甚至還完成過一部超過 30 萬字的小說，這在以理工科為代表的前沿科技領(lǐng)域是極為罕見的。

近期，機(jī)器之心對田淵棟進(jìn)行了一次獨家專訪。關(guān)于人工智能、個人經(jīng)歷以及前沿技術(shù)研究的進(jìn)展，田博士分享了諸多鮮為人知的故事和觀點。

本文目錄：

寫小說的人工智能科學(xué)家

從交大人工智能論壇版主到微軟研究院

人工智能不該被過度炒作

溝通和交流能力是研究的重要組成部分

從 Google 到 Facebook 的身份轉(zhuǎn)變

關(guān)于未來人工智能行業(yè)的一些思考

關(guān)于國內(nèi)人工智能的發(fā)展

田淵棟的學(xué)習(xí)方法論

一、寫小說的人工智能科學(xué)家

機(jī)器之心：我們注意到您非常喜歡寫作，以前也寫過小說，這是您的業(yè)余愛好嗎？

田淵棟：對，這個也算是我在碩士和博士期間的一個愛好，主要的成就是寫過一部大概 30 萬字的長篇小說，還有一些中篇和短篇。當(dāng)然，長篇小說畢竟讀得人不多，后來就改成寫博客，大家還是愿意看的。

機(jī)器之心：那您對文字的愛好，是因為受家庭影響嗎？還是您從小就有偏向文科？

田淵棟：我以前受到高中班主任的影響，對歷史有興趣，愿意看些東西，當(dāng)然寫作還是高考作文這種水平。大概 06、07 年的時候，網(wǎng)絡(luò)小說開始流行，和大家一樣我也喜歡看?？炊嗔耍疫@個人就喜歡動手，自己寫寫試試。一開始寫的時候真的不好寫，擠不出幾個字來，寫的是全是大段對話。但是慢慢就知道怎么寫了，時間長了，越寫越順。

機(jī)器之心：都是科技題材的內(nèi)容嗎？

田淵棟：都有，玄幻加科技，就是大雜燴嘛。我不是商業(yè)寫作，所以主角不打怪升級。主要是摻雜了一些個人經(jīng)歷，把自己想寫的人物和事情寫出來，小說嘛，題材其實無所謂，發(fā)生在火星上還是地球上都一樣，但人物很重要，是靈魂。這部長篇小說寫了五年，一開始是零零散散的寫，然后串起來，最后集中精力花三個禮拜把它全部寫完，現(xiàn)在回想起來，那段時間太有意思了。

機(jī)器之心：您這個領(lǐng)域跨度太大了。

田淵棟：沒有，這個也就是業(yè)余興趣，現(xiàn)在比較忙，以寫博文和雜文為主。寫小說這個經(jīng)歷對我的鍛煉很大，一方面在寫人物的時候，要站在人物角度見他所見想他所想，要讓人物活起來，這個對于習(xí)慣從自我出發(fā)的人來說是很好的歷練；另一方面語感有很大提高，有了之前的積累，現(xiàn)在寫雜文和博文，自然而然會覺得這個地方這么寫，會讓讀者看得順眼。

機(jī)器之心：那您現(xiàn)在的狀態(tài)是以論文為主嗎？

田淵棟：是的，學(xué)生時代相對來說空閑一點，也是積累和摸索階段?，F(xiàn)在是當(dāng)打之年，當(dāng)然是以論文為主，人生的好時光沒有多少的。

二、從交大人工智能論壇版主到微軟研究院

機(jī)器之心：您提到過您對數(shù)理化全有興趣，最后轉(zhuǎn)到計算機(jī)。那您在本科的時候讀什么專業(yè)呢？

田淵棟：我是計算機(jī)專業(yè)的。當(dāng)時我進(jìn)了交大的聯(lián)讀班，一開始不分專業(yè)上基礎(chǔ)課，比如說數(shù)學(xué)物理化學(xué)課，還有通信的相關(guān)課程，到兩年之后再選專業(yè)?，F(xiàn)在我相信很多學(xué)校也開始做這方面的嘗試了。比如說第一年不選專業(yè)，讓你自己去選什么科。我覺得這樣對于一個人的發(fā)展來說，特別是對學(xué)術(shù)有喜愛的人來說，是比較好的。

機(jī)器之心：您當(dāng)年本科讀完了，就到美國去讀博士了？

田淵棟：我當(dāng)時在交大讀了研究生，然后再出國。那個時候我基本上花了一半時間在微軟亞洲研究院。

機(jī)器之心：那個時候已經(jīng)在做了？

田淵棟：對，在做這方面的。一開始是做人臉嘛，然后做一些比較廣泛的圖像識別，圖像課程的一些問題，然后就申請了美國的博士。

機(jī)器之心：這個方向當(dāng)時是您在交大的導(dǎo)師幫您選的，還是研究院的，還是您自己的興趣？

田淵棟：我覺得我真的要感謝我在交大的導(dǎo)師張麗清教授，他給了我自由的發(fā)展空間。我說我要去微軟亞研院實習(xí)半年，一般老師不會同意的。他說：「沒關(guān)系，去吧」，非常支持。我在交大時做計算機(jī)視覺，研究院那邊也是做圖像識別的，具體來說是人臉識別。當(dāng)時我想著能去研究院很好了，非常向往，做什么方向也無所謂。

機(jī)器之心：那個時候機(jī)器學(xué)習(xí)有重視，但是沒有現(xiàn)在這么熱，是吧？

田淵棟：對，那個時候是這樣的，學(xué)術(shù)歸學(xué)術(shù)，系統(tǒng)歸系統(tǒng)，兩邊分開。機(jī)器學(xué)習(xí)的能力已經(jīng)開始體現(xiàn)出來了，比如說在特定問題如人臉檢測上有很好的解決方案；但是更復(fù)雜的物體檢測則遠(yuǎn)遠(yuǎn)不及人的能力，大家都在討論什么才是好的視覺表示。那一波其實持續(xù)了很長時間，從 01 年開始一直持續(xù)到大概 07-08 年。那時我覺得機(jī)器學(xué)習(xí)有用，但沒有像現(xiàn)在這樣有廣泛的應(yīng)用。那時基本上是人工設(shè)計特征，再讓計算機(jī)跑個線性模型就完事了。特征還是要人自己去找?，F(xiàn)在就完全不一樣了，因為數(shù)據(jù)量大了，又有深度學(xué)習(xí)的框架，可以讓計算機(jī)自己去學(xué)到好的特征，效果也好。

除了去亞研院之外，碩士階段我主要在數(shù)學(xué)上打下了基礎(chǔ)。我當(dāng)上了交大 BBS 數(shù)學(xué)版版主，經(jīng)常去回答板上提出的各種問題，不能回答的話就會去查資料。作為版主，回答不了問題是會有很遺憾的感覺的，這樣就產(chǎn)生一種壓力，通過這種方式，我強(qiáng)迫自己不斷地學(xué)習(xí)。時間長了之后就慢慢習(xí)慣。另一方面我還開討論班，我說我主動來講機(jī)器學(xué)習(xí)和模式識別的一些數(shù)學(xué)模型，這樣大家來聽，我就得要準(zhǔn)備，準(zhǔn)備多了，基礎(chǔ)就扎實了。研究生階段還選了一些其它系的課，比如說廣義相對論還有隨機(jī)過程，一般人不會這么做，但我有興趣。這樣基礎(chǔ)就打下了，以后看別的文獻(xiàn)就會方便一點。

機(jī)器之心：聽上去，好像您在學(xué)生時代的時候，就已經(jīng)應(yīng)該是交大學(xué)生團(tuán)體里面的機(jī)器學(xué)習(xí)，人工智能的一個先鋒人物了。

田淵棟：可以算吧。我那時還是人工智能版的版主。版上那時有很多非常有趣的討論。當(dāng)然那時候的討論，現(xiàn)在看起來可能比較幼稚。不過既然是出于興趣，也不怕人笑話。

機(jī)器之心：那個時候您比較確定自己會讀這個方向，是吧？

田淵棟：至少確定將來會做人工智能這一塊吧。有興趣的原因是，我覺得很多問題沒有解決。當(dāng)時我在版里說，人工智能感覺上就像化學(xué)史上「燃素說」和「氧化說」?fàn)庿Q時的狀態(tài)，還沒有系統(tǒng)性的理解，還在黎明前夜。大家現(xiàn)在都在那邊低頭調(diào)參數(shù)加特征，只知其然卻不知所以然。將來肯定有很多理論框架，但是哪個是對的，現(xiàn)在毫無頭緒。

這個就是機(jī)會?，F(xiàn)在回過頭來看，我想的是對的。

三、人工智能不該被過度炒作

機(jī)器之心：那您覺得人工智能現(xiàn)在的狀態(tài)呢？

田淵棟：還是那樣，還是比較淺層的。當(dāng)然我們現(xiàn)在有機(jī)器也有數(shù)據(jù)，效果肯定比以前好很多。但是理論這一塊，現(xiàn)在還沒有太大的突破。

機(jī)器之心：所以您專門寫文章呼吁不要對人工智能過度炒作，目前理論上的挑戰(zhàn)還是非常的艱巨。

田淵棟：對，還是有很多問題。當(dāng)然了，還存在一種可能，現(xiàn)在機(jī)器多了數(shù)據(jù)多了，不用管理論，一路做應(yīng)用做到底。在理論還沒有掌握之前，應(yīng)用已經(jīng)超過人的水平，都是有可能的。

機(jī)器之心：那對圍棋的研究，你還會繼續(xù)下去嗎？

田淵棟：這塊我們還會再做一點，但是現(xiàn)在主要是開一些其他的方向。

機(jī)器之心：那你現(xiàn)在最主要的興趣是在視覺和在語言處理這方面的這個方向嗎？

田淵棟：這些方向都會有涉及。但現(xiàn)在時代不同了，不應(yīng)該把自己限制在視覺或者某個特定方向。

機(jī)器之心：不是一個專門的應(yīng)用。

田淵棟：對，因為感覺上自然語言處理、圖像、語音，這些基本上都是應(yīng)用了。所以說如果必要的話，其實可以在這個中間進(jìn)行切換，或者做一些交叉的方向。以前做這三個方向，可能需要大量的領(lǐng)域知識，特別是做自然語言處理，要學(xué)以前語言學(xué)的文獻(xiàn)。要做分詞，比如說每個詞給一些詞性。要做一些語法的分析、語素的分析，有很多很多的步驟。但現(xiàn)在的趨勢是從頭到尾都讓機(jī)器學(xué)。

機(jī)器之心：就是他們說的 end-to-end。

田淵棟：是的，end-to-end 端對端的學(xué)習(xí)。比如說自然語言這一塊，并沒有比以前的效果好太多，但整個流程變得很簡單方便，將來進(jìn)步的速度可能就會變快。比如機(jī)器翻譯里面，你把一個句子，直接通過神經(jīng)網(wǎng)絡(luò)翻譯成另外一個語言的句子，這樣就比以前快。以前可能要分詞呀，詞性標(biāo)注呀，對每個詞找到另外一個語言對應(yīng)的詞或者詞組，找到之后再重新排列一下，最后才產(chǎn)生一個句子。要通過幾個步驟，但是現(xiàn)在在概念上，只要一步就算出來?！咀ⅲ含F(xiàn)在基于神經(jīng)網(wǎng)絡(luò)的翻譯系統(tǒng)確實比以前好很多了 】。

為什么會出現(xiàn)端對端呢？我覺得主要是因為神經(jīng)網(wǎng)絡(luò)這個模型的優(yōu)點。神經(jīng)網(wǎng)絡(luò)模型是個非常靈活可擴(kuò)充的模型，隨便連一下，然后做后向傳遞就可以了。大家一開始沒有意識到它的厲害，覺得做這個系統(tǒng)得要分幾步吧，神經(jīng)網(wǎng)絡(luò)只是其中一步，前面和后面還是通過傳統(tǒng)方式來做比較安全。后來大家就慢慢意識到，為什么不用神經(jīng)網(wǎng)絡(luò)把整個系統(tǒng)打通？那樣的話，又省時效果也會更好。自然而然，大家都會思考端對端的思路。我覺得現(xiàn)在基本上端對端的效果，主要體現(xiàn)在整個迭代的速度上，從設(shè)計模型到訓(xùn)練，到看到結(jié)果，到修改模型這樣一個循環(huán)的速度會很快，效果也通常會變得更好。人優(yōu)化參數(shù)的時候，可能半小時優(yōu)化一次，看看結(jié)果如何；機(jī)器優(yōu)化參數(shù)，可能一秒就優(yōu)化幾百次。所以這個時間的改進(jìn)是數(shù)量級上的改進(jìn)。

數(shù)據(jù)集的獲得，現(xiàn)在主要是在網(wǎng)上花錢，人工標(biāo)注。比如說一張圖幾塊錢的，然后讓人去做。就發(fā)動群眾的力量嘛，看大家有沒有空。有空閑著無聊了，就標(biāo)注兩張。這樣把力量匯集起來。

機(jī)器之心：像您在 Facebook 做的，F(xiàn)acebook 有那么多的圖片，然后底下還會有人可能對這個 pictures 做一個評論。

田淵棟：對。

機(jī)器之心：那這種東西，你們把它拿來用嗎？

田淵棟：這個是有用的，但是具體怎么用，我們現(xiàn)在還在商討中。

機(jī)器之心：因為它沒有那么準(zhǔn)確？

田淵棟：是的。而且大量的圖片，下面的評論可能是雜的、亂的。比如說我們所有的話，下面都可以寫一個贊呀。這個評論，其實跟這張圖沒有關(guān)系。

機(jī)器之心：需要比如說去噪音這種方式去解決。

田淵棟：對，可能有多少話，一開始說得跟圖片有關(guān)。但是后面說兩句，說到某個人身上，扯遠(yuǎn)了，離題了，這句話就跟這張圖沒有關(guān)系了，所以這個其實都很難，現(xiàn)在還沒有辦法做，還需要好好研究。

機(jī)器之心：我記得前一陣華為他們那邊做了一個小對話的系統(tǒng)，然后進(jìn)行了簡單的歸納。它用的數(shù)據(jù)其實在微博上取下來的，但是它那個數(shù)據(jù)像您說的也很亂，它會有一些規(guī)則。比如說第多少條回復(fù)以后，肯定就繞得不知道哪兒去了，肯定不能要了，還有常見的一些感嘆的詞語。

田淵棟：對，肯定不一樣。相對來說，你可能需要把剩下的句子提關(guān)鍵詞。然后把關(guān)鍵詞作為這個圖的標(biāo)注，這是一種方法?；蛘咦鲆恍┖唵蔚恼Z音分析。

機(jī)器之心：它還有一點，田博士您看到一張圖，我們?nèi)丝梢詷?biāo)注它。但是實際上這張圖有好多種標(biāo)注方式而且都是準(zhǔn)確的，因為看的角度不同。

田淵棟：對。

機(jī)器之心：那在這種標(biāo)注數(shù)據(jù)拿給你的時候，一個圖會給你多少種標(biāo)注呢？

田淵棟：這個其實不同領(lǐng)域，有不同的方法。比如說問答系統(tǒng)，可能有一個問題有一個回答。問題不同，回答又不同。所以一張圖里面有三個問題，那么就有三個回答。或者一張圖有三個問題，有三十個回答。每十個回答對應(yīng)于一個問題，這是可以的。然后你有這些數(shù)據(jù)之后，你想辦法找到一個比較好的模型去歸納這些數(shù)據(jù)，這是一種。

比如說還有一些，一張圖有幾千個標(biāo)注。一張圖里面你可以標(biāo)注很多屬性，里面有貓，有人，有天空，有大地，可能是外景，或者可能是晚上。像這種，每張圖上有很多屬性，這種也可以拿來的。這種不同的標(biāo)注方法，目標(biāo)是不一樣的。比如說你做問答系統(tǒng)的話，問題和回答必須成對出現(xiàn)的。

因為這個回答非常依賴問題，如果你沒看見圖，只看到問題。然后回答的話，其實正確率挺高的，因為可以猜出來。所以你就會發(fā)現(xiàn)在不同的情況下，需要的標(biāo)注是不一樣的。

機(jī)器之心：這種數(shù)據(jù)上的處理，不僅需要強(qiáng)有力的技術(shù)，還需要更多的思考。

田淵棟：對，所以這一塊的思考需要很大很大的力氣。有可能一個數(shù)據(jù)做得不好的話，它的標(biāo)注出了問題，或者它的采集過程出了問題，就不能用了。現(xiàn)在有很多機(jī)構(gòu)都在做數(shù)據(jù)集，想辦法通過數(shù)據(jù)來取得進(jìn)步。做完數(shù)據(jù)處理之后，大家都會有一個客觀的標(biāo)準(zhǔn)來評判他的算法怎么樣。然后在數(shù)據(jù)上提高自己的算法性能，從而達(dá)成整個領(lǐng)域的提升。通過衡量數(shù)據(jù)上的表現(xiàn)，來衡量整個領(lǐng)域的進(jìn)展。

機(jī)器之心：那這個趨勢看來也是一種需要了，在學(xué)術(shù)圈，包括像公司這樣的級別，盡量去制造好的學(xué)習(xí)數(shù)據(jù)，可能會在深度學(xué)習(xí)這一塊取得極大的突破。

田淵棟：這是一個方面，另外一個方面在算法這一塊，我們希望深度學(xué)習(xí)用更少的數(shù)據(jù)達(dá)到相同的效果。這兩方面都在做的。

機(jī)器之心：小數(shù)據(jù)這件事，大家很關(guān)注。你覺得現(xiàn)在有什么突破口，或者什么思考方法？

田淵棟：現(xiàn)在主要做的是：你先在大數(shù)據(jù)上，訓(xùn)練一個模型。然后在小數(shù)據(jù)集上做微調(diào)。這樣的話，你所要學(xué)習(xí)的權(quán)值數(shù)目就變少了。如果這兩個問題本身也有相關(guān)性，這樣就比較容易?；蛘吣惆焉俨糠志哂凶銐虻慕研缘臄?shù)據(jù)，加上大量的弱標(biāo)注的數(shù)據(jù)放在一起訓(xùn)練，這樣也是可以的。或者把小數(shù)據(jù)通過增廣變成大數(shù)據(jù)，比如說旋轉(zhuǎn)縮放圖像，里面的物體屬性標(biāo)注保持不變。這樣的話，數(shù)據(jù)增加了對模型的訓(xùn)練過程會有好處。

當(dāng)然，這些都是權(quán)宜之計。真正要解決這個問題的話，需要對深度學(xué)習(xí)的機(jī)制要有很明白清晰的了解。這個很難，還沒有辦法做出來，大家還在做。之前我去清華做演講的時候，跟姚教授也在聊，他也覺得這是非常難的問題。

機(jī)器之心：他們現(xiàn)在也在關(guān)注？

田淵棟：對，他們現(xiàn)在也關(guān)注這個。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個非凸的優(yōu)化問題，目前傳統(tǒng)的方法沒有辦法解決它。沒有對它的本質(zhì)理解，可能沒有辦法真正解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的疑難雜癥。

機(jī)器之心：說到這個，有一個大家都在討論的問題，就是神經(jīng)網(wǎng)絡(luò)它的高效性，有一點像黑箱子，里面真正的數(shù)學(xué)原理大家還不是很清楚。

田淵棟：對。

機(jī)器之心：那您對這方面的研究感興趣嗎？

田淵棟：這方面跟我的博士論文是很有關(guān)系的。雖然說大家可能因為圍棋的工作認(rèn)識了我，但是我在博士階段是做理論的，研究如何獲得非凸問題的最優(yōu)解。一般情況下這個問題做不了，但在某些特定情況下是有可能的。我當(dāng)時做的是如何對齊兩張扭曲的圖像。對齊是非凸的，局部最小值的分布和圖像內(nèi)容有關(guān)，圖像里有重復(fù)結(jié)構(gòu)，比如說一棟建筑物里有很多窗，那么就對應(yīng)非常多的局部最小值。那么這個怎么辦呢？一種方法是說我們干脆不優(yōu)化了，就直接把圖像用各種已知的扭曲參數(shù)生成出來，存到數(shù)據(jù)庫里。然后新的扭曲圖像拿進(jìn)來之后，我就查那個數(shù)據(jù)庫，就可以得到我想要知道的參數(shù)。但是這個辦法的缺點是需要要非常多的數(shù)據(jù)，才能夠保證得到的參數(shù)是準(zhǔn)確的。另外一個方法就是傳統(tǒng)優(yōu)化算法，不管它是不是非凸的，我們用梯度下降迭代，但這樣可能會陷入局部最小值。我發(fā)現(xiàn)了一個折中的方案，結(jié)合迭代算法和數(shù)據(jù)，做一個數(shù)據(jù)驅(qū)動的迭代算法，這種情況下，可以證明用更少的樣本達(dá)到全局最優(yōu)解。其中原因就是這個特定的非凸問題有一些特殊的群結(jié)構(gòu)。這就是我博士畢業(yè)論文的主要工作。

我當(dāng)然希望在深度學(xué)習(xí)上也能看到一些特殊結(jié)構(gòu)，從而揭示它的秘密。但這個仍在探索中。

四、溝通和交流能力是研究的重要組成部分

機(jī)器之心：您的導(dǎo)師對您的影響好像很大，特別是在寫作方面。

田淵棟：他的寫作和演講的技巧是很好的。我覺得他對我在博士期間的成長是非常有幫助的。

機(jī)器之心：就是他的溝通、交流能力好像很強(qiáng)。

田淵棟：對，他是印度人嘛，大家都知道印度人這方面的能力比較強(qiáng)，他就是這樣的。其實我之前是比較內(nèi)向的，可能大家都有這種刻板印象，認(rèn)為中國好學(xué)生比較安靜一點，不愿意說話，比較內(nèi)向。但是你出國了之后，你會覺得這兩個屬性不是連在一起的。你可以成為一個好學(xué)生，然后你也可以愿意和別人聊天。這些都可以做到的，都可以培養(yǎng)的。比如說一開始上臺演講的時候，有一種惡性循環(huán)，上臺不知道怎么說，不敢上臺。你上臺又不知道怎么說，又不敢上臺，那你到時候就不敢上臺了。一開始要打破這個惡性循環(huán)，就要準(zhǔn)備非常豐富的，非常好的演講。第一個演講說好了，覺得自己有信心了之后，再往上走，就一點點變得非常非常自然了。

機(jī)器之心：對，對交流還是有很多的思考。那我個人有一個感觸，不知道您是不是認(rèn)同。就是中國的理科方面的學(xué)生，如果有一些追求的話，一定要對語言非常深的深鉆。尤其是英語，我覺得國內(nèi)好像對這個重視不太夠。大家好像覺得，大家說論文的英語語言本身不是很復(fù)雜。但是我覺得真的，也提到您剛才一個話題?？赡苣阏麄€思維方式的形成，不僅僅是通過讀論文，可能是通過讀專著呀，通過讀科普的著作呀，跟其他英語的 speaker 進(jìn)行交流，學(xué)術(shù)溝通呀。這里面實際上要求你非常強(qiáng)的語言能力，我感覺到您好像是咱們國內(nèi)華裔學(xué)生里面，對這個是有足夠重視的。好像有一些學(xué)者，尤其在國內(nèi)沒有國外留學(xué)經(jīng)驗的人，不知道這個東西價值有多大。

田淵棟：英語只是特定語言，我指的是表達(dá)和交流能力，這個價值是非常非常大。中國有句老話叫「酒香不怕巷子深」，其實在現(xiàn)代社會不完全是這樣。越是好的東西，越是要說出來，一定要廣播，要想辦法讓大家都知道，才能讓別人欣賞你。每年投稿在各大雜志和會議上的文章，基本上以千為單位了，加在一起肯定要上萬了。你的文章能否脫穎而出，是一個很大的問題。當(dāng)然了，如果你做了一個世界上沒有人做出來的問題，或者你的效果比別人好太多，那不必多言，大家都覺得你非常厲害對吧。但是很多情況下，你的工作并不能達(dá)到世界第一，也有很多工作是分析現(xiàn)有問題，或者表達(dá)一個新的思路或者觀點，不是硬拼性能的。像這種文章就要靠說了，要靠組織和表達(dá)清楚的語言，不然的話，別人看了一頭霧水不知道你說什么。

國外有好多的教授，其實這方面的功底是非常深的。比如說咱們 CMU 有個教授，一篇文章開篇引了福爾摩斯的話。福爾摩斯說：「沒有數(shù)據(jù)支持的任何推理，都是不成立的。」然后他就舉例說明數(shù)據(jù)的重要性。這樣的文章，不一定有算法上的貢獻(xiàn)，但是他們對別人思維的改變，其實起很大的作用，讓別人覺得他這樣的思路可能是對的，從而改變自己整個的研究路線。我剛?cè)サ臅r候不適應(yīng)，覺得這種軟文有什么好看的，只會用個最近鄰方法，一點技術(shù)含量也沒有；現(xiàn)在發(fā)現(xiàn)這不是吹牛，是對大方向的重要把握?，F(xiàn)在深度學(xué)習(xí)來了，數(shù)據(jù)更多了，他在文章中提倡的，完全是符合潮流的。

機(jī)器之心：您現(xiàn)在做研究的時候思考，用英語在做嗎？

田淵棟：思考并不是依賴于某種語言。英語用得多些，因為這個領(lǐng)域中文有很多詞可能還是得翻成英語。

機(jī)器之心：甚至超越語言的一種。

田淵棟：對，圖像呀，或者一種內(nèi)在的東西。然后你想到了之后，通過你內(nèi)部的思考表達(dá)出來。

機(jī)器之心：可能這是一種，有點像神經(jīng)網(wǎng)絡(luò)，它是跨越語言的。

田淵棟：對，拿神經(jīng)網(wǎng)絡(luò)的術(shù)語來說，它們都映射到同樣一個內(nèi)部表示，然后再翻譯過去。

五、從 Google 到 Facebook 的身份轉(zhuǎn)變

機(jī)器之心：當(dāng)時田博士您在谷歌無人駕駛的項目里面做過一段時間，后來轉(zhuǎn)到 Facebook。實際上在很多人眼里，谷歌已經(jīng)是天堂般研究這樣一個地方。您怎么會轉(zhuǎn)到 Facebook？

田淵棟：我覺得主要還是因為谷歌是一個比較大的公司嘛。并不是說谷歌每個人都可以做你想做的事情。要看你在哪個組，你是什么地位，你做什么樣的方向。大公司有一個問題，去得晚的話，你可能只能做螺絲釘。

機(jī)器之心：有一點排資論輩的感覺嗎？

田淵棟：其實谷歌已經(jīng)非常不排資論輩了，已經(jīng)很開放了，但是還是會存在這樣的問題。因為沒有辦法，無人車已經(jīng)做了很多年了嘛。你進(jìn)去之后，東西都做好了，只要修補(bǔ)就行了，你想要搞些有趣的，條件不允許。一開始覺得挺有意思的，但是時間長了，你會覺得沒意思。而且還有一個問題，無人車比較保密，想要發(fā)表自己的工作就很難。

機(jī)器之心：有點受限制。

田淵棟：對，我又是一個比較喜歡寫博客的人，你讓我這個話不能寫，那個話不能寫，那怎么寫呢。我之前寫過一篇有關(guān)無人車的博文，不過那篇博文沒有涉及到任何細(xì)節(jié)。后來還是覺得 Facebook 相對來說更公開一點，所以就跳走了。

機(jī)器之心：您覺得 Facebook 的企業(yè)文化有哪些非常值得我們國內(nèi)企業(yè)學(xué)習(xí)的地方？

田淵棟：我覺得它就比較扁平嘛，小扎就坐在我后面 6、7 米的地方，6、7 米都沒有，基本上我后面是一個很大的區(qū)域。就是 CEO、CTO 還有 COO 都在后面坐著嘛。去年我的實習(xí)生周博磊還被 COO 雪莉點到了，雪莉帶著訪問者問他在做什么工作，他回答得非常好。感覺上高層都對人工智能很感興趣。Facebook 總的來說就是比較開放的環(huán)境，很多時候比較隨意吧，沒有那么嚴(yán)格的上下級。在 Facebook 里面，你也看不見別人的級別。相對來說人和人之間平等一點。

機(jī)器之心：那你們這個深度學(xué)習(xí)研究人員和公司的高層坐得這么近，是不是因為高層也是把你們最重視的一個。

田淵棟：有可能是吧，但是這個我也不好說。我覺得這個是公司的安排嘛，所以我不會有什么特別的評論。

機(jī)器之心：那他有沒有時候會主動地過來，問問你現(xiàn)在在忙什么呀？

田淵棟：他還是比較忙的。每個人都有自己的職責(zé)嘛。

機(jī)器之心：LeCun 是這個領(lǐng)域的元老，離 Zuckerberg 比較近，就想說有沒有從他身上得到一些啟發(fā)。

田淵棟：LeCun 是一個非常開放的一個人。感覺我們整個組非常民主，你想做什么都可以。如果你愿意做的話，也沒有人管你。

機(jī)器之心：方向上給你很大的支持。

田淵棟：就像為什么會做圍棋嘛，對吧，就是很奇怪的。

機(jī)器之心：這個是你自己選的嗎？

田淵棟：自己選的，圍棋是自己選的，然后一開始數(shù)據(jù)集呀，整個東西都是我和實習(xí)生自己弄的，然后 DarkForest 的名字也是我自己起的。這個名字比較酷。我們組也是比較開放的，都沒有管，說你這個名字一定要跟 Facebook 有關(guān)。當(dāng)時也沒有多少人看好這個方向，只是一個試驗。

機(jī)器之心：所以你們的研究不需要直接跟公司的業(yè)務(wù)產(chǎn)品相關(guān)嗎？

田淵棟：能有產(chǎn)品的話，那當(dāng)然最好，但是還是以研究為主。而且這次我選圍棋也證明了眼光是對的。我當(dāng)時對它有興趣，是因為看到了兩篇文章，當(dāng)時大家都沒有引起重視，就只有圈里人知道。我看了一下覺得這個東西有點意思。

機(jī)器之心：就是你的文章可以引用的地方。

田淵棟：對，我覺得這個方向，將來會有一些突破。

機(jī)器之心：那當(dāng)時你意識到他們進(jìn)度會這么快嗎？

田淵棟：當(dāng)然沒有意識到那么快，只是覺得這個方向可能有前景。當(dāng)時還做了還挺多項目的，沒有吊在一棵樹上。做研究的風(fēng)險都很高，所以你必須分幾個不同的項目同時做，看哪個項目比較好。這個圍棋項目它的效果是不錯的，那么就花時間在上面。

機(jī)器之心：那除了給你們很多的自由度之外，你覺得他（LeCun）給你最大的幫助是什么呢？或者是收獲？

田淵棟：他會有一些比較大的想法和觀點分享給大家。比如說他覺得對抗式學(xué)習(xí)是一個比較重要的方向。他會經(jīng)常說嘛，讓大家覺得這個東西挺重要，這么做可能是有道理的。用這種方式來影響大家。不過他也沒有說一定要做這個，一定要做那個，沒有。他是個比較寬厚的長者，和大家聊聊。

機(jī)器之心：經(jīng)常會跟你們溝通嗎？

田淵棟：還比較多。

機(jī)器之心：那你們內(nèi)部有各種，像研究人員之間的交流，小組這種討論嗎？

田淵棟：你想要研究，想交流很容易嘛，因為大家都坐很近。你可以發(fā)個信息過去。或者說直接到他座位上隨便聊聊，大家討論一下。這個還挺重要的，特別是你要做別的方向自己不熟悉的話。你一個做圖像的人，突然去做自然語言這一塊，那么你對自然語言理解這一塊的文獻(xiàn)，肯定不那么熟悉。你問別人一個想法，別人會告訴你這個東西做過了。這樣的話，你可以慢慢知道這個方向，它的現(xiàn)狀怎么樣，然后接下來要怎么做，什么地方做過，有哪些地方還沒有做過。通過這樣的交流方式，你會很快的知道什么東西是應(yīng)該做的。研究這一塊，對方向的確定是很重要的。

機(jī)器之心：我看您對研究的方法論，自己非常有成熟的一個看法。

田淵棟：這個也是慢慢總結(jié)出來的，碰過釘子嘛，很多時候你都知道了。

機(jī)器之心：我們看過一篇文章，就是 LeCun 接受采訪的時候，說了一個最不喜歡的對深度學(xué)習(xí)的描述，就是它像大腦一樣的過程。后來記者讓他能不能用 8 個單詞去描繪一下，然后就想說您能不能用簡單的一句話去描述一下深度學(xué)習(xí)？

田淵棟：我覺得就是神經(jīng)網(wǎng)絡(luò)嘛，現(xiàn)在目前為止還是神經(jīng)網(wǎng)絡(luò)為主。就是通過神經(jīng)網(wǎng)絡(luò)的多層處理，把數(shù)據(jù)從一開始的紅藍(lán)綠這種非常簡單的特征，通過一點點的自組織，變成比較復(fù)雜的特征，就是這樣一個過程。當(dāng)然這個想法老早老早就有了，只是最近才在實際數(shù)據(jù)集上產(chǎn)生了很好的效果，受到了大家的關(guān)注。

另外，計算上的神經(jīng)網(wǎng)絡(luò)和生物上的神經(jīng)網(wǎng)絡(luò)其實沒有太大的關(guān)系，神經(jīng)網(wǎng)絡(luò)里的節(jié)點只是對神經(jīng)元做了最簡單的抽象。其實神經(jīng)元結(jié)構(gòu)太復(fù)雜了，一個含各種參數(shù)的微分方程，要能快速模擬上億的神經(jīng)元，代價很大；另一方面，就算模擬出來效果好，也不知道是哪個原因?qū)е碌?，反而會拖累對本質(zhì)的理解。

機(jī)器之心：我看您博客里面提到科技樹這樣一個概念。能不能以科技樹的形式給大家梳理一下人工智能，或者圖像識別這樣一個大體的框架。

田淵棟：我在博客里寫的科技樹，是一個比方。你看科技樹的發(fā)展，一開始枝繁葉茂，大家都覺得很有希望，可是發(fā)展一會兒就停下來了。等大家沒興趣的時候，過了幾年，在某個很不起眼的地方，突然就出現(xiàn)一個突破。所以做一個研究員嘛，最重要的是要于無聲處聽驚雷，就是不能人云亦云，要靜下心來找到別人沒看見的方向，然后把它挖深，證明這個方向是有效的。一旦大家都覺得這個方向?qū)Γ蠹覜_過來接你的棒了，你就是成功的。

六、關(guān)于未來人工智能行業(yè)的一些思考

機(jī)器之心：未來深度學(xué)習(xí)，包括整個人工智能面臨的一個挑戰(zhàn)，就是非監(jiān)督系統(tǒng)學(xué)習(xí)?，F(xiàn)在做得最好的監(jiān)督系統(tǒng)學(xué)習(xí)，有些人覺得稍微過度，您是認(rèn)可的嗎？

田淵棟：對，這個話我覺得是有道理的。監(jiān)督學(xué)習(xí)相對成熟些，但是需要大量的樣本，往往是樣本翻倍，性能才漲一點點。很多時候，對一個系統(tǒng)而言，光用樣本把它的性能提上去就很難。非監(jiān)督學(xué)習(xí)要是效果好了，對樣本的需求就會少很多。比如說吧，我本來可以對圍棋的每一步做一個標(biāo)簽，這步是好棋，這步是臭棋。但是也可以給最后輸贏的結(jié)果，把這個結(jié)果反向傳遞回去，讓算法自己發(fā)現(xiàn)哪一步是好棋，哪一步是臭棋。那這樣的話，你輸入信號變少了，就是一種半監(jiān)督學(xué)習(xí)的方法；另一方面，機(jī)器也就有了超過人類的潛力。

機(jī)器之心：那這種東西也是你們在 Facebook 關(guān)注的嗎？

田淵棟：我還是比較關(guān)注的。

機(jī)器之心：那你會花一些時間專門攻這方面的研究嗎？

田淵棟：肯定會看一些文章嘛，然后看看有什么東西可以做的。

機(jī)器之心：會有一些 paper 出來嗎？有一些計劃嗎？

田淵棟：現(xiàn)在在做，但是能不能出文章，這個不知道，肯定是要邊做邊看看有什么有趣的。一開始你不熟悉這個領(lǐng)域，你肯定先看文章，然后再選題，然后再看有什么東西可以做。你看多了之后，會慢慢的發(fā)現(xiàn)，噢，原來這個有問題。

機(jī)器之心：去年有一篇論文【Human-level concept learning through probabilistic program induction】講到小數(shù)據(jù)集做得比較好的，甚至它自己在個別的案例上已經(jīng)超越了（深度學(xué)習(xí)）。您是怎么評價他這種研究方式和思維方式？

田淵棟：他那篇文章用圖模型做 One-shot learning，和深度學(xué)習(xí)作了對比，在生成手寫字母這個任務(wù)上，在小數(shù)據(jù)集上比深度學(xué)習(xí)要好。圖模型在推理上比較自然，解釋性也比較強(qiáng)，這個是大家公認(rèn)的。但是相伴地就有另一個問題，就是說設(shè)計的模型一定要對，像他寫字的模型可以設(shè)計得正確，但是對于復(fù)雜的真實世界，建一個包羅萬象的模型就很困難，未必有深度學(xué)習(xí)的能力強(qiáng)，計算機(jī)視覺這個領(lǐng)域，大家都做了二三十年的模型了，結(jié)果還是被卷積神經(jīng)網(wǎng)絡(luò)超過了。所以說兩者現(xiàn)在各有所長，深度學(xué)習(xí)長于感知，圖模型長于推理，如果我們能把它們連起來會是個很大的突破，是值得我們?nèi)グl(fā)現(xiàn)的。

機(jī)器之心：所以您也比較看好這個方向，是吧？

田淵棟：圖模型和深度學(xué)習(xí)如果能夠很深地結(jié)合起來的話，會是一個很好的方向，現(xiàn)在還是比較淺。

機(jī)器之心：所以您自己在這方面愿意做一些探索？

田淵棟：都會看，我肯定不會現(xiàn)在下定論。先了解一下，一點點了解完之后。發(fā)現(xiàn)這個有意思，然后再去做。很多時候研究員做的事情，是介于了解、探索、研究之間的。你不知道在看這篇文章的時候，是為了做這個方向呢，還是屬于好奇呢，還是審稿呢。所以很多時候你無法界定自己的工作。文章看多了，自然會有一些想法，如果想法有意思，就愿意花時間在上面，然后你就變成從事這個研究方向的人。做研究不像通常的工作，有個老板和你說具體要做什么?？赡芙裉炜次恼?，明天推公式，后天寫程序，大后天發(fā)現(xiàn)全錯了從頭再來，自己得分配時間，得要找找準(zhǔn)方向。所以啊，這個都不好說。

機(jī)器之心：之前有一些深度學(xué)習(xí)比較小的突破，像注意力模型呀，記憶模型呀，還有深度神經(jīng)網(wǎng)絡(luò)簡單通俗地解釋一下，給一些對這個不太專業(yè)的讀者，或者做一個形象的比喻。

田淵棟：這個你看一些文章就可以了，很容易懂的。比如說注意力模型吧，看一張圖，先看左邊，再看右邊，最后得出圖里有什么的結(jié)論，和人的行為一樣。聽起來很有道理吧，但是實際上訓(xùn)練完，往往計算機(jī)看一眼就知道圖里有什么，猜功太好，讓它多看幾眼沒什么用，可有些情況下又是有用的。所以說實際機(jī)制未必和文章描述得一樣。

機(jī)器之心：剛才有一點涉及到，正好田博士對物理也非常的有了解。他剛才說很多非常非常多經(jīng)典的東西，其實當(dāng)時田博士您記得從經(jīng)典物理過渡到量子物理，幾個地方都在開花。像波粒、活動方程呀，這些東西都在。然后促使了這個量子力學(xué)突飛猛進(jìn)的進(jìn)展。

田淵棟：對。

機(jī)器之心：您覺得現(xiàn)在深度學(xué)習(xí)的狀態(tài)和當(dāng)時從經(jīng)典力學(xué)過度到量子力學(xué)那種，比較非常大的狀態(tài)，能是一種狀態(tài)嗎？還是您個人認(rèn)為深度學(xué)習(xí)還是比較平穩(wěn)，比較緩慢的發(fā)展。因為現(xiàn)在媒體對這個的炒作也很熱，好像有一點新的科技時代的降臨。

田淵棟：不好說吧。量子物理怎么建立的呢？二十世紀(jì)初的時候，一個很大的問題是如何建模黑體輻射，一個東西加熱到一定溫度，會發(fā)出什么頻率的光。物理學(xué)家們提出兩種模型，各對了一半，就是拼不起來。然后大家深挖下去，作了夸張的假設(shè)，找到量子的方法去解釋。相對論也是一樣的，一開始大家用以太去解釋光速不變，被干涉實驗推翻，后來找到狹義相對論，認(rèn)識到洛倫茲變換是絕對的。這兩個都推翻了經(jīng)典的直覺假設(shè)，刷新了大家對世界的認(rèn)知。對物理來說，從不承認(rèn)這些假設(shè)，到承認(rèn)這些假設(shè)，是一個大突破；認(rèn)知刷新，是一個大突破。

我們現(xiàn)在不一樣，是工科不是理科，更多是一種經(jīng)驗的東西，也更看重經(jīng)驗的結(jié)果。比如說吧，因為數(shù)據(jù)集不同，模型不同，經(jīng)驗的結(jié)果往往是模糊的，漸近的，慢慢地大家意識到這樣是對的。這就不像物理學(xué)有個明確的分界線，控制完變量后，一個假設(shè)一個公式把現(xiàn)象闡述得很清楚，一個實驗對不對，改變整個認(rèn)知，然后宣告勝利。另一方面，你可能對深度學(xué)習(xí)的認(rèn)知有突破了，但那時系統(tǒng)性能已經(jīng)超越人類了，沒有人在意。這兩點都會讓圈外人覺得發(fā)展相對平緩，沒有像物理學(xué)這樣的。當(dāng)然，從人工設(shè)計特征到讓機(jī)器自動發(fā)現(xiàn)特征，這是一個比較大的認(rèn)識上的突破。但是就算如此，大家好像也沒有把它當(dāng)成是革命，而只是默默地記下了繼續(xù)往前走。也許以后歷史學(xué)家們會記錄成突破吧，就像我們看二十世紀(jì)初那樣；但是目前看來，身在局中的我們，并不一定會感覺得到，所以大家也不要期望太高嘛。

機(jī)器之心：發(fā)生得太靜悄悄了。

田淵棟：對，有可能某個人某一天宣布，深度學(xué)習(xí)是這樣起作用的，認(rèn)識上有了突破。然后圈外人覺得，我已經(jīng)用上了，用上語音識別了，用上圖像理解了，用上問答系統(tǒng)了，沒有人管了。對他們來說，是一個很平穩(wěn)的過渡嘛——軟件變得越來越牛了。所以這個不像是物理，這個不一樣的。物理那邊，非?？粗貙κ挛锏纳羁汤斫?。物理是理科，它的目標(biāo)是發(fā)現(xiàn)。為了更新的發(fā)現(xiàn)，全世界可以砸錢下去不求回報。而我們這邊，總的目標(biāo)是做一個很好的系統(tǒng)給大家用，AlphaGo 戰(zhàn)勝了李世石，大家把它當(dāng)大新聞，就算世界上沒人知道 AlphaGo 是如何算出好招的，也沒有關(guān)系，沒人管。當(dāng)然，我個人非常喜歡好的理論，如果對深度學(xué)習(xí)有一個非常好的突破性理解的話，我會非常非常開心。雖然難，但我相信它遲早會發(fā)生的。

機(jī)器之心：明白，因為提到一個人工智能進(jìn)展的問題。您之前寫文章，提出大家不要對人工智能有過度的熱捧。就是說您覺得現(xiàn)在發(fā)展的，它現(xiàn)在最大的瓶頸是什么？

田淵棟：有很多，比如說小數(shù)據(jù)，非監(jiān)督學(xué)習(xí)，比如說對整個深度學(xué)習(xí)的原理不理解，大家現(xiàn)在就是摸瞎調(diào)參數(shù)，看怎么樣。沒有對這個模型有本質(zhì)的理解，這個其實是一個比較大的問題，這個是需要突破的。我之前說了嘛，這個突破可能對大眾來說沒有太大的意義，大家都覺得用上了，就用上了。

機(jī)器之心：如果我們接下來要在這個無監(jiān)督學(xué)習(xí)方面實現(xiàn)一些突破的話，有沒有哪些您認(rèn)為比較好的路徑？比如說您剛才說的深度學(xué)習(xí)和圖模型的結(jié)合。

田淵棟：對。

機(jī)器之心：我們有注意到您之前開發(fā)過圖像的大系統(tǒng)。

田淵棟：對。

機(jī)器之心：我們可能把它看作是圖像和自然語言處理的結(jié)合，它們這個結(jié)合的時候，它的重點在哪個地方？怎么給它結(jié)合在一起？

田淵棟：現(xiàn)在還是比較淺的結(jié)合，把兩邊的特征連在一起，或者放進(jìn)模型里面混合下，就完事了。更深的結(jié)合現(xiàn)在還在研究中。

機(jī)器之心：那您在這個圖像和自然語言處理結(jié)合的點，是不是有寫論文的計劃？

田淵棟：現(xiàn)在在做，但是還早，可以回答一些問題，剛用的人可能會覺得很驚艷，但是用多了就知道它弱在哪里，離真正能用還早。

機(jī)器之心：您怎么看待以對話引擎切入的工具，它是不是會取代我們的 App？

田淵棟：這個我也不好評論，我覺得挺好的，可能是一個很好的入口吧，通過更自然的方式來跟別人交流。

機(jī)器之心：我們之前看到一篇文章，是科技公司對人才的激烈爭奪，您是如何看待這個現(xiàn)象？

田淵棟：我覺得這個對我們來說是好事，對吧，工資肯定會提高。另一方面，這也表明現(xiàn)在人才越來越重要了，以后人工智能能夠自動化很多事情，有這方面的人才，能把人工智能運用得好，幾個人的小公司能做到跟以前大公司一樣，甚至超越，這都是有可能的。技術(shù)越發(fā)達(dá)，可能最后的效果就越好，以一當(dāng)千當(dāng)萬，都不是天方夜譚。

機(jī)器之心：剛才我們聊的有監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)，最后到無監(jiān)督學(xué)習(xí)。如果這個過程發(fā)展得很順利的話，我們能夠期待這個系統(tǒng)或者機(jī)器，能夠做一些那些我們現(xiàn)在還不到的事情？

田淵棟：如果這些階段都能做完的話，那基本上就差不多了。因為人也從無監(jiān)督中學(xué)習(xí)，一個嬰兒通過有限的監(jiān)督學(xué)習(xí)慢慢學(xué)到很多技能，對吧。這幾塊如果能做出來的話，確實會有很大的突破。人腦的核心技術(shù)肯定是大大領(lǐng)先現(xiàn)在人類掌握的核心技術(shù)，但是工程上仍然有很多可以改進(jìn)的地方，你要相信進(jìn)化出來的東西，它是會有很多缺陷的。我們現(xiàn)在就像是原始人去研究一輛二戰(zhàn)坦克，怎么看都覺得科技逆天；但等到了我們會造坦克了，改進(jìn)的路子馬上就會想到的。

七、關(guān)于國內(nèi)人工智能的發(fā)展

機(jī)器之心：國內(nèi)的研究水準(zhǔn)，還有國內(nèi)整個產(chǎn)業(yè)環(huán)境都不如美國，那您覺得中國有很大機(jī)會可以是人工智能存在的地方嗎？還是我們只能做一個舶來品拿來應(yīng)用，您是怎么看待的？

田淵棟：這個問題太大了，說實在的，我也不是太了解國內(nèi)的很多情況。所以我也不好說，首先第一肯定咱們中國人是非常聰明的。我覺得大家如果有信心，有恒心的話，確實能夠做到很好的水平。

機(jī)器之心：那像您在清華，還有在交大，您的同行在溝通的時候。您覺得他跟在美國這個領(lǐng)域同行溝通的時候，還是有明顯的差距嗎？

田淵棟：可能還有相當(dāng)?shù)牟罹?。這次圍棋大熱，國內(nèi)有一些像劉知青教授他們在做。但是除此之外，也沒有太多的人在做這個東西。另外圍棋本身有深厚的人文背景，兩個因素綜合起來，問一些比較寬泛的問題，也很正常。所以我想這次回來一方面是探親，另一方面做一些報告給大家科普一下。我覺得我有資格去說這個東西，因為我正在做。當(dāng)然很多不一定說得對，只是和大家探討下?？偟脕碚f我覺得國內(nèi)做得還挺好的。

機(jī)器之心：您在深度學(xué)習(xí)這個領(lǐng)域里面，跟國內(nèi)的學(xué)者溝通的時候，會覺得有什么差異嗎？

田淵棟：國外可能更細(xì)一點。國外交流的時候，大家都對問題有了解，會談到很細(xì)的內(nèi)容，會說「這個東西我沒有理解，我不知道，我回去查一下資料。我得做了實驗才告訴你答案」。但是國內(nèi)問的問題就比較大一點。

機(jī)器之心：因為可能還沒有那么深入地了解這個領(lǐng)域，是嗎？

田淵棟：可能是吧，特別是圍棋這一塊。當(dāng)然也有可能國內(nèi)大家都愿意問比較大而寬泛的問題。

機(jī)器之心：那從論文的發(fā)表，現(xiàn)在的數(shù)目和質(zhì)量來說，您覺得美國有多大的差距呢？

田淵棟：這個還沒有仔細(xì)的研究。原創(chuàng)性的，有大跳躍的文章相比還是國外多一點，但是國內(nèi)跟進(jìn)很快。大概是這樣。

機(jī)器之心：你有時候會有國內(nèi)的某個研究機(jī)構(gòu)出來的文章，讓你覺得寫得非常漂亮這種感覺嗎？

田淵棟：不錯的很多啊，何愷明的 ResNet 大家都在用，做得好管你國內(nèi)國外，大家都會用的。如果鉆研某個方向，國內(nèi)做到和國外差不多水平甚至更高，非常正常。國內(nèi)這種工作的強(qiáng)度，國外是不可想像的。

機(jī)器之心：那國內(nèi)如果有深度學(xué)習(xí)方面，有濃厚這個熱情和興趣的學(xué)生，他想讀一個本科。你推薦他哪些院校呢？首先您的母校交大，對吧？

田淵棟：對，是。

機(jī)器之心：如果出國留學(xué)，你推薦哪幾個學(xué)校？

田淵棟：我覺得 CMU 其實是很好的一個學(xué)校，我覺得卡耐基梅隆大學(xué)的一貫風(fēng)格是做事做得很細(xì)，然后大家都很認(rèn)真，愿意把一些事情做好。

八、田淵棟的學(xué)習(xí)方法論

機(jī)器之心：之前您寫過一些科研的總結(jié)，還有博士的過程。我們發(fā)現(xiàn)那些文章的歸納能力特別強(qiáng)。有主線，有要點，非常注重系統(tǒng)性和方法論，這個東西是怎么養(yǎng)成的，或者對于其他的研究人員或者技術(shù)人員怎么幫他們更好地做到這一點。

田淵棟：這個其實我自己的經(jīng)歷比較特殊嘛，我之前說過，我自己寫過小說的。

機(jī)器之心：和這個有關(guān)系？

田淵棟：有關(guān)系的。我寫過長篇小說，寫長了之后，會有一些問題，比如說角色的把握和劇情的走向。你寫下來發(fā)現(xiàn)這個角色和之前相比，性格走樣了，說的話做的事不像他/她應(yīng)該做的了。這時候再寫下去就越來越糟糕，這時候就要多想想，有些段落雖然寫得精彩，但于全局無益的話就得要忍痛割愛。然后反復(fù)讀，再找到正確的路子寫下去。像這樣寫多了的話會有感覺，會避坑，然后會有一些自己在方法上的總結(jié)。寫博文也是一樣的，一開始一瀉千里，東一點西一點，然后收束了，歸類了，有些大段大段的直接刪掉，迭代幾次之后，發(fā)表出來的才讓人讀著舒服。所以這個對我來說是比較特殊的經(jīng)歷?？偟膩碚f，我走過很多彎路，走彎路走多了，你才知道什么地方是對的。

機(jī)器之心：靠經(jīng)驗積累。

田淵棟：靠經(jīng)驗積累，如果大家想讀博士的話，那還是要通過自己的經(jīng)驗積累，別人說的話再多，都沒有自己的教訓(xùn)深刻。不要怕犯錯。幾個比較簡單的經(jīng)驗，動作要快，不要怕犯錯，多試幾個方向。然后從錯誤中慢慢總結(jié)，知道更多的東西。我覺得現(xiàn)在最重要的是一個人要很聰明，要很會學(xué)習(xí)，然后愿意去嘗試，不要怕犯錯，就是這樣子。從統(tǒng)計學(xué)的角度來說，經(jīng)驗越多，你獲得的數(shù)據(jù)就越多，那你的模型的迭代速度就越快，效果就越好。所以其實就是這樣一回事情。

機(jī)器之心：我看您對寫作的理解就別具一格，好像寫作對你來說不是簡單的對學(xué)習(xí)過程的記錄，甚至是您的一種思考方式了，對吧？

田淵棟：對，思考方式。

機(jī)器之心：您的文章里提到過，有時候可能看起來很平庸的東西，通過寫作，可以產(chǎn)生非常好的效果。

田淵棟：寫下來之后呢，你會有不一樣的感覺。你腦子里面的東西，可能沒有那么系統(tǒng)，甚至有自相矛盾的地方。當(dāng)時沒覺得什么，你寫下來之后，才發(fā)現(xiàn)這個寫下來不對，是不是要推倒重來呀，這個地方有問題呀？這就是迭代的過程。人的成長有時候得要拋棄成見，拋棄自己曾經(jīng)認(rèn)為十分正確的東西，再作總結(jié)，要有這個包容的意識，要知道自己可能全錯。寫作呢，就是提供了這樣一種渠道。寫作擴(kuò)大了記憶力，你可以拿來思考的記憶就那么一點。你覺得你想到了所有的地方，思路很完美；但事實上是你拿了這個，把那個丟了，拿了那個，把這個丟了。只有全部寫下來之后，才會發(fā)現(xiàn)有問題。才會去思考。我寫博文的時候，第一遍不會直接發(fā)到網(wǎng)上的，會反復(fù)讀幾遍，看一看有什么問題。我自己覺得滿意了，才會發(fā)。很多時候，我會覺得這個地方不通。這個是這個意思，下一段是別的意思，這兩段沒有連起來。你就會覺得語句有問題，語句有問題，你會自己去調(diào)整。在寫作上會有這樣一個潔癖嘛，你覺得這個文章寫得不好，你不愿意發(fā)出來。然后這樣的話，你可能對你的研究過程有思考，你把這個寫下來，會發(fā)現(xiàn)這里做得不好，會有這個感覺，會反省，下次會想著要改進(jìn)。那時間長了以后，自然會有一個比較系統(tǒng)性的方法。

機(jī)器之心：那您發(fā)的那么多的論文，背后是不是有特別大量的學(xué)習(xí)筆記？

田淵棟：有很多，其實我之前有寫日記。反正不時就會寫一點東西嘛。但說實在的，大部分論文都沒有學(xué)習(xí)筆記，那樣太花時間了，很多文章看兩眼就過去了。畢竟文章太多，把時間花在刀刃上才是最重要的。

機(jī)器之心：這些東西雖然不是特別的系統(tǒng)，或者有一些東西可能還有一些缺陷，您會跟人分享嗎？

田淵棟：這個還是不會分享，所以你看到的是冰山一角。能給大家分享的，都是寫得比較好的，我比較滿意的。你看到我寫得特別系統(tǒng)，可能是個幻覺，因為還有大量不系統(tǒng)的堆著，要整理出來太費力。

機(jī)器之心：對一些想進(jìn)入學(xué)習(xí)機(jī)器學(xué)領(lǐng)域的年輕人，有沒有什么建議？

田淵棟：動作快，然后多學(xué)習(xí)，多交流，多嘗試。不要怕犯錯，計算機(jī)這一塊犯錯沒有什么問題嘛，犯錯就出 bug 嘛，計算機(jī)也不會爆炸。出了 bug 也沒有關(guān)系，就反復(fù)調(diào)試，對吧。我覺得我們 CS（編者注：計算機(jī)科學(xué)）這個領(lǐng)域其實非常好，實驗重復(fù)性很高。犯錯了，也沒有任何問題，整個周期非常短。所以我覺得特別適合年輕人學(xué)習(xí)，我覺得只要你有能動性，你只要抓住機(jī)會，多跟別人交流的話，我相信大家都能做得挺好的。

機(jī)器之心：最后一個問題，推薦幾本您覺得特別好的，技術(shù)性強(qiáng)的，或者是科普性強(qiáng)的書給我們的讀者。

田淵棟：說實在的，現(xiàn)在看書沒有什么大用了。很多時候就是看論文，多了解一下，多跟別人交流，因為現(xiàn)在變化非常大。很多東西都不一樣了，所以你看這些書能夠知道以前的一些知識。其實你看論文也有同樣的目標(biāo)，比如說看論文第一段，這段里面其實就概括了以前的一些工作。然后你看多了，你自然而然就會對這個領(lǐng)域會有了解?？磿?dāng)然也會看，比如說你特別想提高一下自己的數(shù)學(xué)能力的話，就要看一些經(jīng)典的教材。最近我無聊去看群論，在看為什么一元五次方程得不到根式解。無聊嘛，你可以看看一些有趣的東西，并且深入思考。通過看和思考，你相當(dāng)于磨煉自己的分析能力，長期不看的話感覺會變鈍的，就可能人云亦云了，別人說好，你也覺得好，你作為研究員的價值就沒有了。數(shù)學(xué)這些東西，經(jīng)典的方法都是十年、百年的積累，不會過時的。所以好多都可以看。但是你要去追人工智能比較好的一些發(fā)展的話，其實看論文比較快。多看幾遍論文的話，也基本上能夠掌握這些方向的一些進(jìn)展。然后多跟別人交流，我個人建議就是多交朋友。交流是很重要的，別人一句話就頂你看很多書了。你現(xiàn)在不可能看完所有的文章的。

機(jī)器之心：那導(dǎo)論性的教材需要看嗎？

田淵棟：我覺得像算法這些的，還是可以看一些。

機(jī)器之心：就是看一些比較經(jīng)典的教材，像貝爾薩寫的書也是要看的，是吧？

田淵棟：要看，但也取決于你有沒有興趣。你可能沒有時間把所有推導(dǎo)都推一遍，這不可能的。但你你可以把整個方法和想法看一遍，把邏輯梳理出來?？凑撐牡臅r候，往往跳躍和選擇性的看。因為每篇文章的目標(biāo)是把這個文章賣出去，他會說自己的方法特別好，別人的方法特別差。但是其實不是這樣的，對吧。文章往往是有偏向性的，所以要選擇性的看。

機(jī)器之心：有沒有哪些書是你覺得比較值得看的？

田淵棟：這個沒有定規(guī)啊，每個人的需求都不一樣。另外，你可能當(dāng)時看一下，到用的時候你再去翻，這樣可能會好一點，看一本書會花很多時間。沒有一個準(zhǔn)則，到最后可能就是東看一點，西看一點，關(guān)鍵是把你的知識體系建立起來。比如說這塊你覺得不懂，你就看這塊不懂的文章。

機(jī)器之心：就是有針對性的。

田淵棟：有針對性的去學(xué)，可能會比較好。比如說這次做圍棋，我之前也沒有做過游戲。那怎么辦呢？你就看，看 David Silver 的博士論文，看以前增強(qiáng)學(xué)習(xí)的文獻(xiàn)。你如果要做游戲的話，你看他的博士論文就得要看得比較仔細(xì)了。有一些關(guān)鍵的點，一定要搞清楚。相當(dāng)于你要有選擇性的看某些章節(jié)，某些文字，某些公式。你如果覺得這個重要的話，你就花時間搞定。如果不重要的話，你可以略過地看。這個就看你的積累了，你的積累肯定會告訴你什么重要，什么不重要。

以最少代價去獲得到你的知識體系，沒有一定的準(zhǔn)則。

搜索能力是很重要的，想看什么就去找。反正現(xiàn)在網(wǎng)上有的是資源，現(xiàn)在已經(jīng)不是圖書館的時代了，對吧?；旧弦凰讯妓训?，關(guān)鍵怎么樣搜。然后你愿意去搜什么樣的東西。我覺得搜索是現(xiàn)代人的一個必備技能，不是說去圖書館一本一本啃下來就可以成為專家了，不是這樣子的。

另外，科普只是領(lǐng)進(jìn)門的。我以前是比較喜歡化學(xué)，后來喜歡物理。再后面慢慢到數(shù)學(xué)去，再到做計算機(jī)去。所以說這樣一條軌跡，基本上化學(xué)的專業(yè)文獻(xiàn)，只要是淺顯的我都能看懂。你有基礎(chǔ)之后，你再去看科普文，你可以猜出來科普文和專業(yè)文獻(xiàn)之間，是怎么樣的對應(yīng)關(guān)系，為了讓外行人看懂，作出了什么樣的省略。但是如果一個沒有經(jīng)驗的人，只看科普的話是入不了門的，容易被各種名詞誤導(dǎo)。你需要花時間在專業(yè)文獻(xiàn)上，讓知識構(gòu)成體系。

?本文由機(jī)器之心原創(chuàng)，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。

　　?------------------------------------------------

加入機(jī)器之心（全職記者/實習(xí)生）：hr@almosthuman.cn

投稿或?qū)で髨蟮溃篹ditor@almosthuman.cn

廣告&商務(wù)合作：bd@almosthuman.cn