人工智慧有可能失控，也有可能反叛，但這些還未必是人工智慧對於人類的終極威脅。假定這些問題都沒有發生，人工智慧既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務。而恰恰是這樣至善全能的人工智慧，對人類的威脅是致命的，因為這樣的人工智慧將消解我們人類生存的意義。
本文作者江曉原 現任上海交通大學科學史系主任，中國科學技術史學會前副理事長。
人工智慧的終極威脅
文 | 江曉原 上海交通大學教授
圖片來源 | 科幻電影劇照
以前我們很多讀物中對科幻作品（包括電影和小說）都有嚴重誤解和誤導，很多人認為科幻是文學作品，是科普作品，甚至是少兒讀物。這種觀念極大地妨礙了我們從科幻作品中獲取思想資源。事實上，真正的科幻是給成年人看的。而科幻主要的任務，是思考一些我們平常在生活中不容易或不方便思考的問題。所以在過去的一個多世紀中，國際上科幻作品的主流，就是對科學技術的反思。
具體到人工智慧問題，幾乎所有的西方科幻作品裡的人工智慧都是負面的和有害的。科幻作品中極少會像我們許多人想象的那樣，對未來高科技社會中的人工智慧進行謳歌。很多人以為科幻作品會想象未來世界如何美好，其實一個多世紀以來，這樣的作品都已經是不入流的了，入流的作品都是有反思的。大量科幻作品對人工智慧已經做過深入反思，我們今天能夠想象到的所有人工智慧的負面作用，在科幻作品中幾乎都已經表現過了。
01
人工智慧的失控和反叛
前些時候人工智慧阿爾法GO下圍棋贏了李世石，我和幾位人工智慧專家以及年輕人的偶像柯潔九段一起做電視節目時，柯潔還表示李世石雖然敗了，他還是能下贏的，後來他跟阿爾法GO下了一次也輸了，他也沒信心了，說“感覺在跟上帝下棋一樣”。稍後的阿爾法zero，面對全世界60名圍棋高手，下成60比0，人類全輸了。據說阿爾法GO是從人類先前的棋譜中學習的，但阿爾法zero完全沒有借鑑人類的任何棋譜，只是告訴它圍棋規則，它自行研究後就一舉打敗了人類60高手。這表明人工智慧一旦有了學習能力，你不知道它會變成什麼樣子。
還要考慮人工智慧和網際網路結合後的極大危險。以前在阿西莫夫寫關於人工智慧的科幻作品時，還沒有網際網路，分立的個體人工智慧畢竟還有一個物理極限，一個機器人哪怕全身都是晶片，它的儲存和運算能力也是有物理極限的。但是今天任何與網際網路結合在一起的人工智慧都能夠輕易超越這個極限，這樣它的學習能力，它的進化速度，都是無法預測的，因而也就很可能是無法控制的。
影片《超體》（Lucy，2014）充分展示了人工智慧一旦具有學習能力之後，它的潛能發揮和迅速進化可以達到什麼程度。人工智慧專家經常安慰我們說：人工智慧還很弱小，你們擔心的事情離現在還很遠。但是知識增長是有加速度的，從弱人工智慧到強人工智慧，到底要多少年？20年？再從強人工智慧到超人工智慧，也許一小時都不用，在《超體》的故事中，人工智慧最後迅速變成一個超能的神，這就意味著失控。
影片《超體》中，這個成神的人工智慧還沒有對人類表現出惡意，如果它對人類有了惡意，那還有更可怕的前景。傳統概念中的機器人，它們身體的大部分其實都是伺服機構，但是和網際網路結合的人工智慧，就不再需要這樣的伺服機構了。比如一個邪惡的人工智慧想實施一次恐怖爆炸，它怎麼做？它只需在網上合法訂購各類可以構成爆炸裝置的民用原料和器件，然後訂購組裝服務，再利用物流服務送往指定地點，由它引爆。這樣的人工智慧不再需要任何伺服機構，它只是網際網路上的一個幽靈。反映這種前景的作品已經有很多了。
劇集《疑犯追蹤》（Person of Interest，2011～2016）迄今已有五季，第一季看著像探案故事，但是越來越科幻，到了最後一季已經完全變成一個超級的科幻作品。那裡面的人工智慧就是躲在網路上的幽靈。現在人工智慧專家還經常安慰公眾說，人工智慧如果真的出了問題，我們把電源拔掉就行了，但是對於和網際網路結合的人工智慧，如果它想作惡，到哪裡去“拔掉電源”？
影片《機械姬》（Ex Machina，2015）也相當有代表性，那個女機器人最後突然作惡，把她的創造者囚禁起來，自己出去了。這個結尾為拍第二部準備好了介面。這個反社會人格的女機器人出去後會在社會上做什麼壞事，有很大的想象空間。
至於著名的影片《未來戰士》系列（Terminator，又名《終結者》，1984～2015），已有五部，講人工智慧反叛人類後對人類的剿殺，以及人類的殊死反抗，已成經典。
02
人工智慧的人權問題
人工智慧發展進化之後，我們早晚要面臨人工智慧的人權問題。即使人工智慧自己不提出來，我們人類自己從倫理道德的角度出發，也會提出這個問題。事實上當然是科幻作品中很早就提出了這個問題。
較早的影片《變人》（Bicentennial Man，1999）直接提出了這個問題。家裡買來了一個機器人，這個機器人對他們家的小姐產生了感情，小姐當然不能和一個家用電器戀愛，所以雖然對它也挺好，但是沒辦法拍拖。於是機器人不斷讓自己升級，最終把自己進化成完全跟人一模一樣，但是故事裡的人類社會拒不承認它的人權，不批准它和人類的婚姻。
要討論人工智慧的人權問題，就必須為取得人權給出條件。在影片《變人》中，最後給出的條件居然是死亡——有生老病死，是獲得人權的必要條件。最後這個機器人為了讓自己和人類小姐的婚姻有效，它把自己的永生能力取消了，人類社會才承認了他們的婚姻。
當然還有作品給出了別的條件。比如影片《銀翼殺手2049》（Blade Runner 2049，2017）中設想的界限是“生育”——只有被母親生出來孩子才有人權。在《銀翼殺手2049》的世界裡，複製人是沒有人權的，人們不必尊重他們。銀翼殺手K雖然身懷絕技，仍被同事們鄙視為“假貨”。
第三個，在很多作品裡都給出過的，是文化。這是一個相對合理的想法，一個人工智慧（或者機器人、仿生人、克隆人等等），如果他擁有了人類的文化，我們就同意給他人權。前不久沙烏地阿拉伯最先嚐試了世界上最激進的做法——給一個機器人授予了公民權，這當然就是承認了她的人權。該機器人叫索菲婭，是一個女性形象，如今她會出席各種各樣的會議。雖然索菲婭早先說過“要滅亡人類”這樣的話，現在她在社會上活動，有人翻出她當年的話來，她改口說願意和人類友好相處。最近又傳出她打算結婚，當然也可能只是炒作。在索菲婭的個案裡，人權主要是靠文化來獲得的。
人工智慧的人權問題之所以非常重要，是因為人工智慧一旦被我們大量應用之後，我們的很多法律和倫理問題都和人工智慧的人權直接有關。
影片《機械公敵》（I，Robot，2004）就強調了這一點。那個機器人殺了人之後，警方認為這是謀殺，生產機器的公司說，我們對“謀殺”的法律定義是一個人蓄謀殺害另一個人，機器人沒有人權，所以它殺人只是機器故障。類似的問題現在已經在我們眼前了，我們已經讓自動駕駛汽車上路了，如果自動駕駛汽車撞死了人，怎麼追責？這個責任到底是車主來負還是生產汽車的廠家來負？
又如劇集《真實的人類》（Humans，2015～2018），已經有三季，故事中家裡買了一個女性機器人來，引發了各種各樣的問題。比如男主人有一次和這個女性機器人做了愛，他這個行為的定性，直接與機器人的人權有關：如果機器人沒有人權，他就是自慰；如果機器人有人權，他就是出軌。
類似的問題還可以設想很多，現有的法律對這些問題都缺乏相應的規定，我們的倫理觀念也沒有準備好適應這些現象。
03
軍用人工智慧的倫理問題
阿西莫夫著名的“機器人三定律”，第一定律就是“機器人不得傷害人類，也不得見人類受到傷害而袖手旁觀”，這個第一定律意味著什麼？意味著我們人類不能把殺人的權力讓渡給機器人，而這就排除了將機器人或人工智慧應用於軍事用途的一切合法性。比如有一個罪犯被判了死刑，我們可以讓機器人去對他執行槍決嗎？不可以。因為機器人不得傷害人類，不管這個人類是一個罪犯還是一個功臣。
但是如果研發軍事用途的人工智慧，那當然就是把殺人的權力交給機器人。比如現在很熱的無人機，即使是在人類下達命令之後讓無人機執行攻擊，也違背了第一定律，更不用說研發自主識別目標執行攻擊的無人機了。
所以軍事用途的人工智慧這個事情本身就是從根本上違背“機器人三定律”的。但是因為三定律並不是什麼法律，只是一個科幻小說家在他的小說裡提出來的，雖然搞人工智慧的不少人表示願意尊重這三個定律，但這畢竟不是法律，如果研發者不遵守別人也拿他沒辦法，很多研發軍事用途人工智慧的人當然都沒有遵守這三個定律。他們通常可以有兩個路徑來為自己辯護。
第一個路徑就是宣稱三定律只是小說家言，我們為了崇高目標不必當真。第二個路徑是利用“人工智慧”劃界的困難，什麼叫“人工智慧”？你口袋裡的手機是不是人工智慧？你透過適當的定義就可以把手機定為人工智慧。既然如此，那麼現代戰爭中的指揮通訊系統為何不能定義為人工智慧？這樣的人工智慧不是早就在戰爭中應用了嗎？反過來，對另一些武器，比如無人駕駛的坦克，無人機，你可以說這只是一種自動武器，你也可以說這是人工智慧。到底算不算？這沒有明確的邊界。
最近美國拍了一系列以無人機為主題的科幻電影，在這些作品裡面，倫理道德問題往往是很突出的。
早些時候，埃隆 · 馬斯克、史蒂芬 · 霍金、比爾 · 蓋茨聯合了很多名流，發表了一個公開的宣言，要求停止軍事用途的人工智慧研發。認為這有可能產生比原子彈更可怕的武器。一方面，軍用人工智慧直接操控武器或自身就是武器，一旦失控後果難以設想；另一方面即使沒有失控，研發出這類更新穎更高效的殺人武器，從根本上來說也絕非人類之福。媒體對此有過一些報道，但並不突出和重視。學者當中提出了類似這三個人觀點的也不少，但這些都還沒有達到國家政策的層面，都只是民間的呼籲。
馬斯克自己就是一個人工智慧大力的支持者和使用者，他自己的工廠裡使用了大量的工業人工智慧，但是他一面自己在使用和研發人工智慧，一面卻不斷警告說人工智慧是非常危險的，他這樣做看上去有點偽善，但是他提出警告畢竟也有好處。比如說，我肯定在馬斯克他們的上述宣言之前早就發表文章提出過警告了，但人們會說你又不研究人工智慧，你的警告我們用不著重視。但是馬斯克提出警告，人們至少不會說他不研究人工智慧吧？至少對他的警告要更重視一些吧？從這個意義上說，他的警告作用就可能比較大，所以他的警告我也都贊成。
所以今天我們只能、而且必須抱著和當年搞“兩彈一星”類似的心態來進行軍事用途的人工智慧研發。軍用人工智慧就是今天的“兩彈一星”。比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智慧研發的國際協議。但談判需要手中有籌碼，只有當中國手中握有足夠的實力籌碼時，才有可能推動人工智慧方面的國際裁軍談判。
04
人工智慧的終極威脅
科幻作家、科普作家阿西莫夫，因為在小說中提出了“機器人三定律”，所以人們在談論人工智慧時總會提到他。其實他的科幻作品中最著名的是小說《基地》系列，共11卷，是一部科幻史詩作品，前後時間跨度以千年萬年為單位，討論整個銀河帝國的興衰。在這部科幻史詩中，阿西莫夫提出了一個重要觀點——所有依賴人工智慧的文明都必將衰亡。所以在他的書裡能夠持久發展的文明，比如銀河帝國，是立法禁止人工智慧的。
為什麼？當然有道理。因為人工智慧會讓文明衰亡。前面我們討論了人工智慧的失控和反叛，但這些還未必是人工智慧對於人類的終極威脅。假定這些問題都沒有發生，人工智慧既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務，阿西莫夫指出，恰恰是這樣至善全能的人工智慧，對人類的威脅是致命的，因為這樣的人工智慧將消解我們人類生存的意義。
有人會說，所有的事情都讓機器人做了，但是我們可以創造，我們可以搞藝術，可以過精神生活呀？問題是人工智慧也可以替你去創造，甚至精神生活也可以替你去過——比如晶片植入人機結合之後，那些所謂的“精神生活”還是你的嗎？這麼經歷一兩代人之後，人類的智慧和體能都將急劇衰退，很快就將成為行屍走肉，我們的人生就將毫無意義。
另一方面，在這樣的世界裡，我們肯定會把我們所有的社會管理都交給人工智慧，人工智慧就將在實際上統治這個星球。用不了多久，人工智慧必然會得出一個合理的結論：人類這幫寄生蟲，活在這個世界上純粹是對環境的汙染，它完全可以清除人類來最佳化環境。這時不管人類自己的生存意義喪失與否，都必然是人類的末日。
還有一些人這樣想：我們為什麼要害怕人工智慧推翻人類社會呢？如果人工智慧推翻了人類社會，那人工智慧必將是一個比人類更好的存在模式，我們為何不能接受呢？其實這裡有一個是否“以人為本”的問題。即使人工智慧發展得比我們人類更優越了，我們也沒有理由聽任人工智慧將我們人類清除掉。我們人類站在自己這個物種的立場上，我們當然不可能接受被別的物種政府或滅亡。
所以警惕人工智慧，比無條件地擁抱人工智慧更合情合理。