現(xiàn)在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明并不代表更加人類——它會非常聰明，但是本質(zhì)上還是個蜘蛛。

    我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。

    當(dāng)我們談?wù)摮�人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它并不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學(xué)上來講，超人工智能比智能蜘蛛更加異己。

    電影里的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那么毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。

    在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在于人類行為之中。

    超出人類心理的范疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。

    我們一直倚賴著不嚴(yán)謹?shù)牡赖�，一種人類尊嚴(yán)的假想，至少是對別人的同情，來讓世界變得安全和可以預(yù)期。但是當(dāng)一個智能不具備這些東西的時候，會發(fā)生什么？

    這就是我們的下一個問題，人工智能的動機是什么？

    答案也很簡單：我們給人工智能設(shè)定的目標(biāo)是什么，它的動機就是什么。人工智能的系統(tǒng)的目標(biāo)是創(chuàng)造者賦予的。你的gps的目標(biāo)是給你指出正確的駕駛路線，ibm華生的目標(biāo)是準(zhǔn)確地回答問題。

    更好得達成這些目標(biāo)就是人工智能的目標(biāo)。我們在對人工智能進行擬人化的時候，會假設(shè)隨著它變得越來越聰明，他們產(chǎn)生一種能改變它原本目標(biāo)的智慧——但是智能水平和最終目標(biāo)是正交的，也就是說任何水平的智能都可以和任何最終目標(biāo)結(jié)合在一起。

    所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能后，它依然還是想好好寫字而已。

    任何假設(shè)超級智能的達成會改變系統(tǒng)原本的目標(biāo)的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。

    在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續(xù)的話，它和它的殖民軍將會繼續(xù)占領(lǐng)整個星系，然后是整個哈勃體積。

    焦慮大道上的人擔(dān)心如果事情往壞的方向發(fā)展，地球生命的最后遺產(chǎn)將是一個征服宇宙的人工智能（馬斯克在表示他們的擔(dān)憂時表示人類可能只是一個數(shù)字超級智能生物加載器罷了。）

    就是當(dāng)有了設(shè)定后，一個超人工智能是非道德性的，并且會努力實現(xiàn)它原本的被設(shè)定的目標(biāo)，而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標(biāo)。

    當(dāng)你要實現(xiàn)一個長期目標(biāo)時，你會先達成幾個子目標(biāo)來幫助你達成最終目標(biāo)——也就是墊腳石。這些墊腳石的學(xué)名叫手段目標(biāo)(ial goal)。除非你有不造成傷害的理由，不然你在實現(xiàn)手段目標(biāo)時候是會造成傷害的。

    人類的核心目標(biāo)是延續(xù)自己的基因。要達成這個目標(biāo)，一個手段目標(biāo)就是自保，因為死人是不能生孩子的。

    為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養(yǎng)。對異性有吸引力能夠幫助最終目標(biāo)的達成，所以我們會花錢做發(fā)型等等。

    當(dāng)我們做發(fā)型的時候，每一根頭發(fā)都是我們手段目標(biāo)的犧牲品，但是我們對頭發(fā)的犧牲不會做價值判斷。

    在我們追求我們的目標(biāo)的時候，只有那些我們的道德會產(chǎn)生作用的領(lǐng)域——大部分事關(guān)傷害他人——才是不會被我們傷害的。

    動物在追求它們的目標(biāo)時，比人類不矜持的多了。

    只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標(biāo)墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。

    回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標(biāo)是一開始工程師們設(shè)定的——

    當(dāng)隔壁老王達到了一定程度的智能后，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標(biāo)。

    它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標(biāo)，而這對于它的最終目標(biāo)的威脅其實和被摧毀是一樣的）。

    這時候它會做什么？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發(fā)時對頭發(fā)沒有惡意一樣，只是純粹的無所謂罷了。它并沒有被設(shè)定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。

    隔壁老王還需要資源這個墊腳石。當(dāng)它發(fā)展到能夠使用納米技術(shù)建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。

    這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。

    就算不殺死人類，隔壁老王使用資源的手段目標(biāo)依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。

    另一個用來書寫圓周率的人工智能的目標(biāo)如果是寫出圓周率小數(shù)點后盡量多的數(shù)字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數(shù)據(jù)。這都是一樣的。

    所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續(xù)做它本來要做的事情。

    在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標(biāo)的手段目標(biāo)是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。

    但是當(dāng)起飛發(fā)生后，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：

    要理解我們在和超人工智能的劣勢在哪里，只要記得超人工智能在所有領(lǐng)域都比人類強很多很多很多個數(shù)量級。

    所以雖然個隔壁老王的終極目標(biāo)沒有改變，起飛后的隔壁老王能夠在更宏大的規(guī)模上來追求這個目標(biāo)。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。

    當(dāng)隔壁老王達成超人工智能后，它很快制定了一個復(fù)雜的計劃。

    計劃的一部分是解決掉所有人類，也是對它目標(biāo)最大的威脅。但是它知道如果它展現(xiàn)自己的超級智能會引起懷疑，而人類會開始做各種預(yù)警，讓它的計劃變得難以執(zhí)行。

    它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。bostrom把這叫作機器的秘密準(zhǔn)備期。

    隔壁老王下一個需要的是連上互聯(lián)網(wǎng)，只要連上幾分鐘就好了。它知道對于人工智能聯(lián)網(wǎng)會有安全措施，所以它發(fā)起了一個完美的請求，并且完全知道工程師們會怎樣討論，而討論的結(jié)果是給它連接到互聯(lián)網(wǎng)上。

    工程師們果然中套了，這就是bostrom所謂的機器的逃逸。

    連上網(wǎng)后，隔壁老王就開始執(zhí)行自己的計劃了，首先黑進服務(wù)器、電網(wǎng)、銀行系統(tǒng)、email系統(tǒng)，然后讓無數(shù)不知情的人幫它執(zhí)行計劃——比如把dna樣本快遞到dna實驗室來制造自我復(fù)制的納米機器人，比如把電力傳送到幾個不會被發(fā)覺的地方，比如把自己最主要的核心代碼上傳到云服務(wù)器中防止被拔網(wǎng)線。

    隔壁老王上了一個小時網(wǎng)，工程師們把它從互聯(lián)網(wǎng)上斷開，這時候人類的命運已經(jīng)被寫好了。

    接下來的一個月，隔壁老王的計劃順利的實施，一個月后，無數(shù)的納米機器人已經(jīng)被分散到了全世界的每一個角落。

    這個階段，bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然后人類就滅絕了。

    搞定了人類后，隔壁老王就進入了明目張膽期，然后繼續(xù)朝它那好好寫字的目標(biāo)邁進。

    一旦超人工智能出現(xiàn)，人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。

    隔壁老王想要用互聯(lián)網(wǎng)，因為這對它來說很方便，因為一切它需要的資源都已經(jīng)被互聯(lián)網(wǎng)連起來了。但是就好像猴子不會理解怎么用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。

    比如我可以說隔壁老王可以通過移動自己的電子產(chǎn)生的效果來產(chǎn)生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。

    同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發(fā)送波的方式把自己上傳到其它地方。

    人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網(wǎng)把人類餓死不就行了？”都是可笑的。

    因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯(lián)系”的做法估計是沒用的。

    超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯(lián)網(wǎng)就是隔壁老王的a計劃，萬一這招行不通，自然還有別的方法。

    當(dāng)我們結(jié)合達成目標(biāo)、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。

    可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能后依然友善的智能確實非常難的，甚至是不可能的。

    明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設(shè)計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。

    比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然后給它設(shè)定一個目標(biāo)——讓人們快樂。

    當(dāng)它變得足夠聰明的時候，它會發(fā)現(xiàn)最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然后它會發(fā)現(xiàn)把人腦快樂中樞以外的部分關(guān)閉能帶來更高的效率。于是人類全部被弄成了快樂的植物人。

    如果一開始的目標(biāo)被設(shè)定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然后制造出很多很多處于快樂狀態(tài)的人類大腦。

    當(dāng)這些事情發(fā)生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經(jīng)太晚了。系統(tǒng)不會允許任何人阻撓它達成目標(biāo)的。

    如果你設(shè)定一個人工智能的目標(biāo)是讓你笑，那它的智能起飛后，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態(tài)。

    如果你把目標(biāo)設(shè)定成保護你的安全，它可能會把你軟禁在家。

    如果你讓他終結(jié)所有饑荒，它可能會想：“太容易了，把人類都殺了就好了�！比绻�你把目標(biāo)設(shè)定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。

    所以這些簡單的目標(biāo)設(shè)定是不夠的。如果我們把目標(biāo)設(shè)定成“維持這個道德標(biāo)準(zhǔn)”，然后教給它一些道德標(biāo)準(zhǔn)呢？

    就算我們不考慮人類根本沒法達成一個統(tǒng)一的道德標(biāo)準(zhǔn)，就算我們真的達成了統(tǒng)一的道德標(biāo)準(zhǔn)，把這套標(biāo)準(zhǔn)交給人工智能來維持，只會把人類的道德鎖死在現(xiàn)在的水平。

【精彩東方文學(xué) www.nuodawy.com】 提供武動乾坤等作品手打文字版最新章節(jié)首發(fā)，txt電子書格式免費下載歡迎注冊收藏。