一旦機器人眼超越人眼，機器人物種會發生大爆炸

張曉林，中科院上海微系統所研究員，1995年從機器人視覺專業博士畢業後開始研究人眼，目前在開發基於人類眼睛功能的機器人仿生眼。

我估計在一二十年內，機器人會有大量的東西出來，人的生活可能會有非常大的變化，遠遠超過互聯網或手機對生活的影響。

機器人眼會超越人眼嗎

張曉林

大家下午好，今天我主要講講我自己的專業。像我這麼一個學理工的人能夠被一席邀請講，我猜是我現在搞的這個專業關注度非常高，並不是因為我做得怎麼好。

大約在五億多年前，在寒武紀的時候產生了一個生物大爆炸時代。也就是說，在一二百萬年間，突然間爆發出各種各樣的生物。這是什麼原因呢？最近有這麼個解釋，說那個時候動物的腦細胞上長出了一個感光細胞，這個感光細胞慢慢變成了眼睛。一旦有了眼睛以後，生物物種就大量地爆炸。

這個是現代的海洋蠕蟲。你看它腦袋上就長了那麼一個小細胞，它就對光有感覺。比如一亮的時候它就沉到海底，暗的時候又上來。就這麼樣的動作，它就比其他的動物有更高的適應能力。

這種海洋蠕蟲叫奇蝦，因為有了複眼，它馬上就成為海洋的霸主。

現在我把眼睛大概分成四類，一類是複眼。複眼是地球上使用最廣的，因為所有的昆蟲用的都是複眼。蜻蜓的最多，有25000多個小複眼。為什麼昆蟲用得多呢？因為複眼這種結構，它不太需要處理就能夠得到立體的信息。對昆蟲來講，因為它大腦沒有那麼發達，所以它用複眼來作為眼睛效果非常好。

蜻蜓的眼睛

但是這種複眼的解析度不夠高，所以如果要讓它達到人眼這麼高精度高水平的視覺，要做一米多的球那麼大才能夠實現。

還有一種眼睛是比較少見的，只有節肢動物才有。它有八隻，前面四個、後面四個，我們稱之為單眼。前面這兩個是固定的眼睛，視角比較窄，看得比較清楚；後面的兩個是視角比較寬的，看得稍微模糊一點。

蜘蛛的眼睛

其實我們人眼也是一樣的。人的眼珠上有一個中心凹——看的是清楚的，周邊視——看的是模糊的。

還有一種眼睛是章魚的眼睛。其實章魚的眼睛和我們人的眼睛已經差不多了，但是它的起源和人完全不一樣，所以我們這裡專門把它分出來。

章魚的眼睛

為什麼起源不一樣呢？所有的脊椎動物都是一樣的：它的眼睛反了。也就說最開始做錯了，在進化的時候出問題了。它的視覺細胞朝內了，外面的神經在外面出來。沒辦法，神經又要彎出去，所以這兒出了一個盲點，因為神經要這麼走。

可是你看章魚，它的那個視覺細胞是朝外的，所以它的神經就可以從後面走。人，或者是其他脊椎動物，它不僅神經從上面走，而且血管也是從上面走，所以非常不方便。這其實是不對的，出錯了，但是它也進化出來了。

有的時候我在想，進化的時候常常不是強者勝，或者適者生存。比如說你強了，那你在海洋就待下了，就不會進化了。反倒是這些弱者，它被趕走，不得不適應新的環境，不得不變化。

像人也是這樣：最開始在海底打不過那種兇猛的魚類，結果跑到海邊、淺灘，然後又跑到濕地，最後又跑到陸地。跑到陸地上又打不過人家，只好爬到樹上。就是反反覆復地一直這麼進化，最後從樹上下來之後進化到人。

在寒武紀的時候，其實有很多動物渾身都是眼睛，或者說是三隻眼睛、一隻眼睛的都有，最後全部進化成兩隻眼睛，而且這個眼睛是可動的，也就是幾乎所有動物的眼睛都是動的。

脊椎動物裡面又有四種眼睛。第一種叫食草性動物的眼睛，就像兔子。它的視覺範圍非常廣， 360度，從前到後都能看得見。它也不需要立體，也不需要看多清楚，只要有誰來抓它它跑就是了，也就是說兔子的眼睛是沒有中心凹的。稍微高等點的動物，像狗、豬，其實都有中心凹。所以說兔子你是養不熟的：你養了它以後，它不見得認識你，因為它識別的能力比較差。

到了食肉性動物，它的眼睛就逐漸進化得非常好了。像老虎，它為了捕捉食物要奔跑，它的兩隻眼睛就逐漸逐漸對到前面來，而且有立體感，隨時知道它的距離。這時候它其實不需要視覺太廣，因為它沒有天敵，不擔心別人再來找它的麻煩。

鷹眼在動物里是比較特殊的，它可以在一兩千米的高空看到地面的小蛇、小老鼠。人眼有一個中心凹，鷹是兩個：一個是深的中心凹，一個是淺的中心凹。它在天空盤旋的時候，用一隻眼睛看下面，是用深的中心凹看，會看得非常清楚。這跟我們用望遠鏡看遠處是一樣的，範圍很窄但看得清楚。看到獵物的時候它開始俯衝，而且是旋著俯衝，因為它是一隻眼睛看。快到底下的時候，它選擇用兩隻眼睛了，而且是用的淺的中心凹在看，走直線，一下就抓到下面的獵物。

所以鷹眼的構造和我們人不一樣。有些人說鷹的眼睛是最好的，實際上它只不過是看得遠而已。但是由於為了看得遠，所以它的眼睛非常大，它的眼球有時候比大腦骨都大。所以說它的眼睛就呈錐狀形，可動範圍非常小，大概只有一兩度左右。

正因為可動範圍小，所以說像鳥類，主要是鷹或者是雞，主要是靠頭來做控制的。比如說雞的頭非常穩定，你在下面怎麼晃它都是穩定的。人的眼睛也是這樣，你頭往左轉，眼睛肯定是往右轉的。

我做機器人做了八年，在橫濱國立大學做機器人的視覺反饋，當時是工業機器人。後來一個偶然的機會，到了東京醫科齒科大學，在那裡接觸到了人的眼睛，就發現人的眼睛太神奇了。工學上根本想像不到的一些能力，在人的眼睛上都表現出來了。

原來我是做眼睛的，為什麼現在中科院腦科學與人工智慧卓越中心讓我來做人工智慧方面的核心顧問呢？其實原因也比較簡單，就是因為人的大腦的外部信息，有83%是來自視覺的——這是哈佛大學的一項研究。所以說其實知道了眼睛的功能也就知道大腦了，或者說是大腦越聰明眼睛水平就越高，眼睛越好腦子就可能越聰明。

這個是波斯頓動力的一個機器人，你看它的眼睛是一個激光雷達，現在它還沒用，只是為了證明它的控制好，所以深一腳淺一腳只是不倒而已。但是實際上如果你眼睛好的話，走路就會更穩。

點擊播放 GIF/1941K

現在的機器人或者無人駕駛都是我發出一束光或者是一個紅外線、超音波，它能接收反射，然後算出距離。這種視覺有個很大的缺陷，一是它的解析度不夠高，因為它是靠這麼轉著一秒一秒掃出來的。再一個，它沒有紋理、顏色這些信息，所以說它只是知道這種深度感。

這種感測器雖然原理很簡單，很容易做，但是將來肯定是會被慢慢淘汰掉的。也就是說，比如我要用激光雷達去看月亮，它是肯定看不到的，肯定反射不回來的。

主動性視覺感測器：激光雷達

現在，慢慢有一些無人駕駛車，或者說是一些主動安全的汽車開始用攝像機了。比如說這是斯巴魯的兩隻攝像機，或者說是剛才那個波斯頓動力的機器人，它也用雙目。但是大家可以看得到，這些雙目還都是固定的，它還沒動。為什麼沒動？因為它們不敢動，一動起來整個視覺就變得非常複雜，所以說現在用攝像機做的這種視覺還不是很穩定，大家還不太敢用。

斯巴魯Eyesight

其實原因很簡單，它要求兩台攝像機絕對平行，這個在出廠的時候我們可以校準，一旦出來以後就不敢保證了。因為你磕磕碰碰，或者溫度一變它就偏了，那後面的處理效果就完全變了。

我在醫科大學做神經研究的時候，當時就把跟人眼神經相關的東西，通過一千多篇論文全部抽出來，然後再根據工學上的這些智能控制、數學的基礎，來把它變成數學的模型。這一塊大概花了七八年時間。

其實說難也不難，這個東西做完以後是什麼樣的結果？我把當時一個覺得很吃驚的地方告訴大家，這是控制上的演算法，大家不用太在意。這是眼球的旋轉角度，這是視網膜的誤差，那麼這就是一個反饋控制。工學上把這個叫PID控制。

但是和我們工學不一樣的地方就是，它有交叉，這是我們當時在工學上不可理解的。也就是說，我們在做機器手臂的時候，一隻手臂的動作絕對不能影響另一隻手臂的動作。因為一旦影響了，這邊動，另一邊也跟著動，那是不行的。但是人的眼睛它就這麼交叉。

其實後來發現不僅是人的眼睛，人的手也是這樣。也就是說我這個手拿一本書來寫字，兩個手配合得非常好。我這麼寫、這麼動，都能寫得很好。但是要是用工學上的機器控制來做是非常困難的。

那麼什麼原因使得人的兩隻手、兩個眼睛的配合這麼協調呢？就是這個交叉。這個交叉產生了什麼結果呢？就是我上下相加、相減，它就變成了一個互相不干涉的控制系統。也就是說，我的兩隻眼球一起動的部分和相對動的部分，是互相獨立的，一起動不影響相對動。

左右眼信息交匯（視交叉）

因為這個神經的解析非常有意思，後來我們就開始考慮人的眼球的結構。這是一個朝上看的眼球，一個是叫作中心凹，還有一個是周邊視。周邊視面積非常廣，而且它主要是視桿細胞，有一億五千多個。而中心視——我們認為看得很清楚很重要的這個地方，它的細胞數只有700多個。

生物學上有一個詞叫廢用性，就是你不總用的東西它會越來越少，總是用的東西它會越來越多。可見周邊視比中心視重要。那這是什麼原因？

我後來發現兔子其實沒有中心視，只有周邊視，這說明周邊視比中心視重要是正常的。那麼什麼地方不一樣呢？周邊視是把你的圖像有意模糊掉，而中心視是把圖像更清晰化、尖銳化。模糊掉有什麼好處呢？我們後來再做圖像處理就會發現，在測量自己的位置、運動、速度，或者測量危險物質突然過來的時候，這種運算速度非常快、效果非常好。

有些得病的人，他的中心視壞了的時候，這些人的反應速度突然變快了，周圍東西掉了，他「啪」就能抓住，也就說明餘光瞬間的反應速度非常快。但是它可能有的時候不進入大腦，直接進入你的反射系統，所以說這部分在眼球里非常重要。

我們慢慢已經發現到了這一點，所以在做仿生眼的時候，肯定是有兩台攝像機：一個是廣角，一個是望遠。

我們把仿生眼分成三大部分。第一部分叫眼球的結構。也就是說仿生眼的結構一定要和人眼一樣，比如說中心視、周邊視。同時我們還有眼球運動控制的系統。全世界真正在做這種眼球運動控制，特別是雙眼控制的人極少。

人類有大腦和小腦。像有些低等動物，它沒有大腦小腦但也是滿地跑。原因在哪裡，就是沒有大腦小腦的時候，它有中腦。這一塊叫上丘，它有反射功能。所以說低等動物就用中腦和腦幹來控制眼睛，人類用大腦和小腦。

這有什麼區別呢？比如說蜥蜴用舌頭來打蒼蠅的時候，打蒼蠅這個動作，它在腦後面是有一個控制信號，在做別的動作的時候，又是另外一個控制信號。就像我們以前讓機器人做學習的時候，你讓機器人畫圓，畫的精度可以非常非常高。但是讓它畫方的時候，它又得重新再學一遍。

但是人不一樣，你只要畫好圓，方也就會畫了。這就是小腦的控制和上丘控制的區別。就是說我在做一件事情的時候，我是把整個系統的反系統做出來。像低等動物，比如說魚抓起來，它就會擺尾巴，它不會擺別的。但是你要抓一個貓試試看，它什麼動作都有。這一點是有小腦和大腦的不一樣。

這個是我做的第一個仿生眼，是17年前了，在醫科大學做的這個數學模型，覺得這個東西挺有用。當時是用這個模型來做疾病檢測的，後來發現這個好用，就花了三年時間做。

因為在醫科大學也沒有其他的工科人，只好自己做。我就買了一個小機床，又把電路板、軟體什麼的折騰了半天，把它做出來了。這個看著是很小，但實際上旁邊有一個比我人還高的一個裝置在控制它。

當時我們覺得很吃驚的就是，給它兩個白球，它分不開，要不就看這個，要不就看那個。不像我們工學裡面，如果是單獨控制它就分開了，這個沒有。所以後來我就拿著這個視頻到處去宣傳。

點擊播放 GIF/1326K

2003年我就拿著這個回國，想在中國成立一個公司什麼的。後來發現我設計的東西沒有人幫我做。2003年的時候中國各方面的基礎還比較差，現在你到深圳去，就會發現中國發展得非常快，已經超過日本了，你想做什麼深圳都有人幫你做。

我們在做了幾代機器人以後，現在就打算做一做新的，就是逐漸把那些軟體變成這種晶元，做成這種小型的機器人。這台機器就是我們給新松的機器人配的這麼一雙眼睛，逐漸就越做越小。

由於我搞的研究主要是眼球運動，所以我給大家介紹一下眼球運動有什麼特點。人的眼睛和變色龍不一樣。人只能盯一樣東西，也就是說我的左眼要看這隻手指頭的話，右眼也肯定看它，不能同時看另一個手指頭，這是做不到的。

但人的眼睛又可以對眼，可以反方向走。也就是它既可以反方向走，卻又不能分開。當時我到醫科大學看到人的眼睛這個特性以後，覺得很不可思議，怎麼會做到這個程度。後來用數學模型我就實現了這個功能。

如果說我左右眼看的東西不一樣的話，人的大腦就會出現混亂。它每次看的肯定是要相同的，才能有個立體視覺。所以作為立體視覺的話，兩隻眼睛必須是一起走，而且一定是要調節好的。

這是我們做的一個實驗。比如說如果是單獨控制的話，你看我遮一隻眼，它就停了，再回來找就很不容易。或者是給它兩個球的話，它就亂掉了，因為球是完全相同的。

點擊播放 GIF/1625K

這也是當時機器人為什麼不能夠把眼睛動起來的主要原因。當時日本本田的機器人叫Asimo，最開始他們做設計的時候兩隻眼睛是動的，後來又固定住了。

你看我們做了這個模型以後，我隨便遮一隻眼睛它都能動，而且是一起動。就像咱們人一樣，做一個眼睛的手術的時候，另一隻眼睛一定要蒙上，否則它就一起動了。

點擊播放 GIF/1324K

你給它兩個球它也不亂。

點擊播放 GIF/1094K

這也是我們做仿生眼的一個重要的特點。也就是說，桌子上有很多乒乓球在跳，人眼看根本就沒有問題。但是你要用機器人，如果是單獨控制的話，它就肯定出問題。

這個就是兩眼協調運動。這個功能就是相對運動和共同運動是分離的。用這一個目標的話，它就可以對眼。有了這個功能以後，我的眼睛就動了，也能知道距離，走路就不會晃了。因為它通過三角演算法就知道距離，我走近它就退，我退它就過來。

點擊播放 GIF/1952K

還有一個叫前庭動眼反射。前庭動眼反射就是人的耳朵里的半規管來控制眼睛，也就是說，頭往左轉眼睛自然會往右轉。這個功能非常強大，所以我們人跑步、開飛機、開汽車，眼睛都非常穩定。

這種功能是耳朵里的半規管控制的。耳朵里左右兩邊各有三個環，還有兩個耳石。兩個耳石是測平移前後上下的，三個環是測三個角度的，就是三維的旋轉。有了這個以後，機器人或者人活動就會非常方便、非常穩定。

比如說最開始不用前庭動眼反射的話，我慢慢走可以，一快走它就跑掉了。這是攝像機拍出來的圖。

點擊播放 GIF/1940K

剛才那是單眼的，雙眼的穩拍跟單眼的還不太一樣。單眼的話，你這麼平移它就沒辦法了，但是雙眼就不一樣。我知道對方的距離，所以距離不同我的轉角不一樣。比如說用了我們這個功能，加了陀螺和感測器以後，它就跑不掉了，我怎麼走它都不會跑。

點擊播放 GIF/2032K

還有一個功能叫頸眼反射，就是脖子的肌肉也能控制眼睛。頭不動，身體扭的話眼睛也是動的。最容易做實驗的就是把兔子頭固定，然後擰它的身子，它的眼睛就動。其實芭蕾舞演員或者有些武術運動員，他的動作就用了這個原理。他轉身的時候先是身體轉，然後頭再轉。身體轉了以後，脖子的信號控制眼睛，讓眼睛這麼走，然後頭再一轉，眼睛又回來了，這時候眼睛就固定不動了。要不然你要是身體這麼轉的話，耳朵里的半規管控制眼睛，眼睛會晃。——我猜測是這樣，我們也不好說一定是這樣。

這個就是一個機器人，下面是一個鞍馬，相當於人騎在馬上。那麼我的眼睛一定是穩的，這個人就會很穩定，而且這兩個圖像是在3D電視上看的話就是立體的。就是說不管下面怎麼動，我上面仍然能夠跟蹤，仍然能夠切換。

點擊播放 GIF/1204K

還有一個叫跳躍型眼球運動，這個也是很重要的。我們的眼睛既然要盯某個東西，那麼就必須要跳過來看別的東西，因為不能總看一個，可能要跳過來看。這個時候人的眼睛一秒鐘可以轉800度，速度非常快，一瞬間就跳過去了，而且能力非常強。你看我們開車也好，開飛機也好，我想看哪就看哪。

跳躍型眼球運動是人眼一個非常原始但是非常強大的功能，我們也是最後才實現的，七八年前才做到的。就是說兩個球是動的，我的雙眼看這兒，一會兒看下面，一會兒看上面，我自己也動，但我仍然能夠想切換就切換。這個同時需要對對方速度的預測和對自己速度的預測。

點擊播放 GIF/2010K

這些功能一個一個都實現以後，機器人的視覺基本上就算完善了。但還有一個功能，我們現在機器上還沒有去做，這個叫作固視眼振。青蛙的眼睛是不動的，為了看清楚，它的眼睛做得特別大，結果就不能動了。這樣有一個什麼問題呢，就是它只能看到動的東西，不動的東西它看不到。

人的眼睛非常好。你固定看某一點，眼一直在震顫，這個震顫速度非常快，90赫茲，我們自己都想像不到眼睛震顫得這麼快。比如說下面這個圖，大家一直盯著不動的話，周圍這個圈會消失。其實人眼和青蛙是一樣的，只不過是我們自己動了，所以說不動的東西你也能看得見。這部分我們可能將來也會在機器人上實現。

有些應用，比如說這叫視覺里程計，是用周邊視來做的。也就是說知道自己運動和運動的速度，比如這個地方是一個三角形，代表攝像機的位置。我走多少我的攝像機知道，所以我轉一圈，攝像機就可以算出走了多少。把這個跟地圖一配，其實就是無人駕駛或機器人製作導航的一個最基本的功能。

點擊播放 GIF/1151K

這個功能大家常常沒太注意，其實這是視覺的最基礎的東西。有些低等動物，它有這個功能但是沒有識別功能。所以說它可以知道自己走了多少，轉了多少，但是不見得能夠認識，也就是找不到自己的窩。再高等一點以後，它有了識別功能才能做到。

再比如說這個叫稠密三維重建。這個時候通過雙目就知道深度了，冷色是遠，暖色是近。深度圖出來以後，再把顏色和紋理配上就叫三維重建。知道這個深度以後，地平面我就能檢測出來，障礙物我就能發現，無人駕駛車或者是機器人的行走就基本上有保障了。

點擊播放 GIF/1062K

我們技術的第一個應用是在做3D攝影。當時我在日本，第一個碰到的就是《阿凡達》出來了。

《阿凡達》聽說拍了四年，非常難拍。因為它有六個自由度：旋轉三個，平移三個。這兩台攝像機，你調好一個地方，別的地方又歪了。矯正這個，最開始據說要兩個小時，現在好像是快了一點。

我們就說這部分我們可以做，因為機器人的雙眼協調我們做過，所以做了一個全自動3D攝影系統，這也是到現在為止全世界唯一的一套全自動3D攝影系統。我們用它來拍野生動物，效果非常好。

弼智3D電影攝像系統 BinoQ-P4M

11月的工博會上，我們替新松的機器人裝配了這麼兩隻眼睛，其實就是現在這裡的這一台。這些眼球的功能逐漸逐漸變小了，開始進入了實用。比如說可以識別人臉，先把人臉找到，然後對準他，知道這個人是誰等等。

點擊播放 GIF/1307K

以前我說「只接天，不接地」。就是從生物模仿過來的，但是它怎麼樣去應用，始終有很大一個斷層。最近因為技術的進步，逐漸開始進入到這種實用階段了。一旦仿生眼能夠達到人的功能以後，下一步就超越人眼，而且是肯定會超越人眼。

首先是攝像機構。人的眼睛只有對焦功能，沒有變焦功能，所以說人想看遠處的時候要用望遠鏡。你要用機器人的眼睛的話，變焦是肯定沒問題的。

同時，看遠距離的時候，精度跟兩隻攝像機的距離有非常大的關係：兩隻攝像機的距離越遠，看得精度越高；越近，精度越低。但是你又不能一直太遠，所以這裡有一個調節關係。人的眼睛是固定的，所以在五米左右的效果最好，再遠了就不行，精度就差了。這個功能在機器人眼上是能夠實現的。

還有就是除了兩隻眼睛，你可以四隻眼睛、八隻眼睛，眼睛可以大量地做。

再一個是控制系統。我們機器人的精度非常高，現在最好的轉角感測器可以達到800萬點，轉一圈有800萬點。人的肌肉遠遠沒有這個精度高，所以說這個精度也是人類無法達到的。

還有就是信息處理。最近這種雲計算、大數據等等很多，很多信息不需要自己跑去看。我們人的話，你沒去過的地方就是不知道。但機器人就是通過這種信息全部告訴你，所以這也是它超過人眼的一個主要的地方。

機器人的物種會有一個大爆炸，各式各樣的機器人都會出來。而且人工智慧會越來越強，逐漸逐漸，人感覺到自己的生存受到威脅了。

實際上確實也是這樣，當機器人有了眼睛以後，它的信息就不再受人控制了。現在像AlphaGo什麼，都是人給它棋譜，或者人給它圖像它才做。但是它一旦有了眼睛，能夠自己到外面去的時候，它會自己去尋找感興趣的東西，那這時候就逐漸接近於人類了。

當然你說特別危險？倒也不是。因為機器人想要活下去，它要有個活下去的理由。也就是說，機器人再聰明也沒有用，它自己不想活，它自殺了你也沒有辦法。這個最基本的慾望是什麼？

其實還是有很多事情要做的。而且像我們的眼睛，我這個眼睛已經用了50多年了，還很好用。但是你要做個機器，我們剛做出來就總壞，要讓它用50年不壞，那其實是非常困難的事情。所以說機器人要超越生物其實還有一段時間。

但是它有一個好處就是，機器人可以做大。人的話，你就這麼大，再大了扛不住自己的頭了。但是機器人可以放得非常大，然後通過無線什麼的，它有些功能可能會很快超過人。

但是人也要進步。現在DNA的解析進步也很快，以後人和機器就是一個競爭關係，或者說是互為融合關係，很多晶元什麼的可能被植到大腦里了。

現在我們在做眼睛的時候就有這樣的。有些盲人就在眼鏡上加兩個攝像機，然後把圖像直接植到大腦，大腦就能感知。其實我們大腦水平非常厲害，你給它一個圖像信號，就貼在腦的表面上，它慢慢應對各種刺激，慢慢就能看到。

所以說，我想把晶元植入大腦並不是一件非常未來的事情，就在近幾年。微軟的總裁原來講人類的長生不老的時代很快就會到。現在技術的進化是非常厲害的，我們總是有這種指數型的增長，人一直站在指數的牆上，往前面稍微走一點就變化特別大，你都沒辦法預料。

我估計在一二十年內，機器人會有大量的東西出來，人的生活可能會有非常大的變化，遠遠超過互聯網或者手機這種功能對生活的影響。

謝謝大家。

請您繼續閱讀更多來自 一席 的精彩文章: