Nick Bostrom談當電腦比人類聰明時會發生什麼事?

Nick Bostrom: What happens when our computers get smarter than we are?

人工智慧正發生突飛猛進的進展-研究顯示在這個世紀內電腦的人工智慧將跟人類一樣聰明。Nick Bostrom指出它們將超越人類:「機器智慧將是人類所需的最後一項發明。」哲學家與科技專家Bostrom要求我們藉由對機器的認知仔細思考我們正著手構築的世界。我們的智慧機器將有助於保護人類和我們本身的價值觀,或它們將擁有自己的價值觀?

講者介紹

Nick Bostrom

自2005年開始,Nick Bostrom領導人類未來研究所,這是牛津大學的研究團隊,成員包括數學家、哲學家和科學家,負責探索人類目前狀態及未來前景。他被譽為當代最重要的思想家之一。Nick Bostrom詢問一個重要問題:身為人類物種及人類個體,我們該如何優化未來的前景?人類科技的進步最終將摧毀我們嗎?

早在這些想法成為主流之前,哲學家Nick Bostrom已設想一個由人類優化、奈米技術和機器智慧構築的未來。他的著名模擬論點-其中定義了一些否定「人類生活在電腦模擬的世界中」這個類矩陣想法的顯著影響-探討了人類生存風險,Bostrom藉由哲學、機率論與科學分析等工具探討其中的必然性及不確定性。

譯者介紹

翻譯人員洪曉慧

繁體編輯朱學恆、洪曉慧

簡體編輯朱學恆、洪曉慧

檔案後製處理洪曉慧、謝旻均


Nick Bostrom談當電腦比人類聰明時會發生什麼事?

  • 我與一群數學家、哲學家及電腦科學家共事,我們坐在一起思考機器智慧的未來以及其他問題。有人認為這屬於科幻小說領域,既不切實際又瘋狂。但我想說的是-好,我們看看現代人類的情況(笑聲)。這是現代人類的常態,但如果我們思考這一點,事實上人類只是抵達地球不久的訪客。假設地球在一年前誕生,那麼人類的存在相當於10分鐘,工業世代在2秒前開始。另一個探討方式是,思考近一萬年來的全球GDP(國內生產毛額),我費了點功夫繪製了這張圖表,看起來像這樣(笑聲)。這對正常狀態來說是相當奇特的形狀,我肯定不想坐在上面(笑聲)。我們思考一下:造成這種異常的原因為何?有些人會說是科技。確實如此,科技隨著人類歷史而發展,現在科技正以飛快的速度進步,這是近因,這也是為何目前的生產力相當高,但我想進一步探索根本原因。

    展開英文



  • 看看這兩位相當傑出的紳士:這位是Kanzi,牠能掌握200個詞彙,相當驚人的壯舉。以及愛德華.維騰,他引起第二次超弦革命。如果我們進行深入探索,這是我們的發現:基本上是相同的東西,一個稍微大一點,或許其中存在一些特殊的連結方式,但這些無形的差異不會太複雜,因為從我們最後一位共同祖先算起只經歷了25萬代。我們知道複雜的機制需要長時間演化,因此一些相對微小的變化使我們從Kanzi變成維騰,從以掉落的樹枝當武器變成發射洲際彈道式導彈。因此顯然我們所達成的一切,以及所有我們關心的事物都取決於人腦中相對微小的改變。理所當然的推論是:任何進一步的改變、能造成思想基體的顯著改變都可能產生巨大影響。我的一些同事認為我們即將發現某種能深刻改變思想基體的東西,那就是機器的超級智慧。人工智慧通常是指將指令輸入一個箱子,你需要程式設計師費心將知識轉變成指令。你建立這些專門系統,它們可用於某些目的,但這些系統相當生硬,你無法延伸它的規模,基本上你僅能獲得事先輸入的資訊。但從那時起,人工智慧領域發生革命性改變,如今的目標在於機器學習。因此我們並非研究知識的展現,我們撰寫具有學習能力的演算法,通常來自原始的感知數據,基本上如同嬰兒的學習方式,結果是產生不侷限於某個領域的人工智慧。同一個系統可以學習在任何兩種語言之間翻譯,或學習玩Atari遊戲機的任何一款遊戲。

    展開英文



  • 現在,當然人工智慧仍無法像人類一樣擁有強大的跨領域學習與計畫能力,大腦皮層仍擁有一些我們還不知道如何複製在機器上的演算技巧。因此問題是:還有多久我們才能複製這些技巧?幾年前我們對全球頂尖的人工智慧專家做了一項調查,試圖瞭解他們的想法,其中一個問題是:「你認為哪一年我們將擁有50%的機率使機器智慧達到人類級?」我們把「人類級」定義為有能力將任何任務以成年人的水準執行,因此真正的「人類級」不僅限於某些特定領域,答案的中間值是2040或2050年,取決於我們詢問的專家屬於什麼群體。也許過了很久才會實現,也許很快就會實現,沒有人能知道確切時間。我們知道的是機器基體處理資訊的最終極限比生物組織的極限大得多,這與物理原理有關。一個生物神經元發出的脈衝頻率大約200赫茲,相當於每秒200次,但即使是目前的電晶體,脈衝頻率都以千兆赫計算。神經元在軸突中的傳輸速度緩慢,頂多每秒100公尺,但在電腦中訊號以光速傳播。還有尺寸限制,就像人類大腦必須能裝進顱骨內,但電腦可以跟倉庫一樣大,或更大。因此超級智慧的潛能正處於潛伏狀態,就像原子能潛伏在人類歷史中耐心等到1945年被發現。在這個世紀中,科學家或許能喚醒人工智慧的力量,我認為我們或許有機會見證人工智慧的爆發。

    展開英文



  • 當大多數人思考何謂聰明、何謂愚蠢時,我腦海裡浮現一個像這樣的畫面:一邊是一個鄉下傻子,在遙遠的另一邊是愛德華.維騰或亞伯特.愛因斯坦,或任何你喜愛的大師。但我認為以人工智慧的觀點來看,真正的畫面或許比較像這樣:人工智慧從這一點開始,零智慧;經多年辛苦研究之後,也許最後我們能達到老鼠級的人工智慧,可在雜亂的環境中找到路,就像老鼠一樣。再經多年辛苦研究及許多投資之後,也許最後我們能達到黑猩猩級的人工智慧。再經更多年辛苦研究之後,我們達到鄉下傻子級的人工智慧。再過不久,我們將超越愛德華.維騰。這列火車不會停在人類村這一站,它很可能呼嘯而過。這具有深遠意義,尤其是涉及權力問題時。例如,黑猩猩很強壯,若是公平比較,黑猩猩大約比健康男性強壯兩倍。然而,Kanzi和同伴的命運多半取決於人類的作為,而非黑猩猩本身的作為。一旦超級智慧出現,人類的命運或許將取決於超級智慧的作為。思考一下:機器智慧將是人類所需的最後一項發明,之後機器將比人類更擅長發明,它們將以「數位時間尺度」進行,基本上這意味著縮短未來的距離。思考你曾經想像過的所有瘋狂科技,也許人類將擁有充分時間發展出以下事物:防止衰老、太空殖民、自行複製的奈米機器人,或將思想上傳電腦。這都是科幻小說的內容,但仍符合物理法則。

    展開英文



  • 超級智慧能發展出這一切,也許相當迅速。這種技術成熟的超級智慧將會非常強大,至少在某些處境中能得到它想要的東西,我們將擁有以超級智慧的偏好所塑造的未來。一個很好的問題是:這些偏好是什麼?這讓情況變得更棘手。在這個領域裡前進,我們首先得避免機器智慧人格化。這有點諷刺,因為每一篇關於未來人工智慧的報導都會附上這張照片,因此我認為我們必須以更抽象的方式考慮這個問題,而非以好萊塢電影中的場景考慮。我們需要將智慧視為優化過程,一個將未來引導至特定組態的過程。超級智慧是相當強大的優化過程,它擅於利用現有工具達成目標狀態,這意味著在高智慧及擁有對人類來說有價值或意義的目標之間沒有必然的聯繫。假設我們給予人工智慧的目標是讓人類發笑,當人工智慧尚未成熟時,它會做出有用或好笑的動作引使用者發笑,當人工智慧演變成超級智慧時,它將意識到達成這個目標更有效的方法:控制這個世界在人類臉部肌肉連接電極,使這個人不斷地發笑。另一個例子是,假設我們給人工智慧的目標是解決困難的數學問題,當人工智慧變成超級智慧時,它將意識到解決這個問題最有效的方法就是把地球轉變成一台超大型電腦,藉此增進它的運算能力。注意,這將給予人工智慧一個「工具性」理由,進行我們或許無法認可的事。在這個模式中人類變成威脅,我們將成為解決數學問題的阻礙。

    展開英文



  • 當然,在可預見的範圍內事情不會以這種方式出錯,這些是誇大的例子,但這個整體觀點很重要:如果你創造一個相當強大的優化過程使目標x最大化,你最好確保你對目標x的定義包含所有你在意的事,許多神話故事都蘊含這個教訓。Midas國王希望他碰到的所有東西都變成黃金,他觸碰女兒,女兒變成了黃金;他觸碰食物,食物變成了黃金。這確實與我們討論的主題有關,不僅是對貪婪的隱喻,但也說明了如果你創造一個強大的優化過程,卻給予它容易誤解或不精確的目標會發生什麼事。你們或許會說,如果電腦開始在人臉上連接電極,我們只要關掉它就行了。A、這不一定能輕易做到,如果我們已對這個系統產生依賴性。例如:你知道網路的開關在哪裡嗎?B、為何黑猩猩沒有把人類或尼安德塔人的開關關掉?他們有足夠理由這麼做。我們也有開關,像是這裡,原因在於人類是有智慧的對手,我們可以預見威脅,並做出相應計畫,但超級智慧代理者也會它的能力,比我們強大得多。重點是,我們不該自信滿滿地認為一切都在我們的掌控中。我可以試著讓自己輕鬆一點,例如把人工智慧放進一個盒子裡,就像一個牢固的軟體環境,一個無法逃脫的虛擬實境,但我們有多大信心確保人工智慧不會找到漏洞?鑒於即使只是人類駭客都能經常找到漏洞,我得說,或許我們不是很有信心。因此我們拔掉網路線,製造一個空間間隙,但同樣地,即使只是人類駭客,也經常利用社群工程突破空間間隙。

    展開英文



  • 現在,當我在這裡演講時,我確定世上某處有某個公司職員才剛被自稱來自IT部門的人說服交出帳戶資訊。也可能是更有創意的情況,例如如果你是人工智慧,你可以想像藉由擺動內部電路的電極創造能用來通訊的無線電波,或許你可以假裝故障,然後當程式設計師把你打開檢查哪裡有問題時,他們檢查原始碼-蹦!你趁機掌握了操控權。或者它可以輸出巧妙的科技藍圖,當我們運用這個藍圖後,它會產生人工智慧計劃中的隱密副作用。重點是我們不應對掌控超級智慧的能力太過自信,它脫離控制只是時間問題。我認為我們需要尋找的答案是如何創造一種超級人工智慧,即使它脫離控制仍然是安全的,因為它站在我們這一邊,因為它擁有我們的價值觀。我知道這個難題無法避免,但我對解決這個問題的可能性保持樂觀態度。我們不需要把所有在乎的事物寫下來,或更糟的是,把這些事物轉換成電腦語言,例如 C++ 或 Python,這是不可能的任務。反之,我們可以創造一種人工智慧,能運用它的智慧學習我們的價值觀,它的動機系統建立於追求我們的價值觀,或執行它認為我們贊同的事,我們可藉此使它的智慧發揮最大作用,解決價值觀的問題。

    展開英文



  • 這是有可能的,這個結果對人類相當有利,但它不會自動發生。這個智慧大爆炸的初始條件必須以正確的方式建立,如果我們想掌控這個爆炸的話。人工智慧的價值觀必須符合我們的價值觀,並非只是在一般情況下,例如我們可以隨意檢查人工智慧的行為,但也包括未來人工智慧可能遇到的所有情況。還有一些更深刻的問題需要解決:它們決策根據的所有細節、如何解決邏輯不確定的情況等等。因此待解決的技術問題使這項任務看似相當困難,不像創造超級人工智慧那麼難,但也相當困難。我們擔心的是:創造超級人工智慧是相當艱鉅的挑戰,創造安全的超級人工智慧將遭遇更大的挑戰。風險在於如果有人想出如何解決第一個挑戰,但無法同時解決第二個挑戰,確保安全性萬無一失。因此我認為我們應該想出「事先控制問題」的解決之道,這樣當我們需要時就能安心使用。也許現在我們無法完全解決「事先控制問題」的難題,因為有些要素也許在瞭解詳細架構之後才能實施。但如果我們能事先解決更多「控制問題」,進入機器智慧時代的機率就會更高。這對我來說是一件值得挑戰的事,我能想像如果一切順利,當百萬年後的人類回顧這個世紀時,他們或許會說,我們最重要的成就就是正確處理這件事,謝謝。(掌聲)

    展開英文