牧蘇想要跑，這幫聽得入神的成員可不允許，紛紛提出問題。
一名成員站起：“AIC擁有意識，說不定可以和它交流？”
“人類總是喜歡將事物物化為人。”牧蘇一副恨鐵不成鋼的語氣。“但你們要知道，智慧和擬人不是一個意思。所有的科幻小說都在寫覺醒的人工智能擁有人類情感，所有的科幻小說都在寫覺醒的人工智能為了復仇毀滅人類，實際這是錯誤的。所以，別相信那些資本家鼓吹的人工智能沒有危害，也不要將機器人三大定律當真——那只是一本科幻小說上的內容。”
另一名成員起身問：“有AIC的前車之鑒，是不是代表現在的強所有人工智能都有可能變為超人工智能？”
這是個很可怕的事情。人工智能已經與人類息息相關，無處不在。哪怕有一個進化為超人工智能，人類都會瞬間毀滅。
“不會。現在的人工智能已經被完善的合成人法則完全約束。加上制作時的限制，即便擁有意識也只是像人類一樣變得擁有感情，而不是無限學習自我改善。”
“當時的科學家為什么不對AIC進行限制？”
牧蘇歪頭想了想：“拿第一個弱人工智能阿爾法狗來說。它只會下圍棋，所以工程師不會畫蛇添足閑的沒事給它添加一個‘不許傷害人類的限制程序’。一是沒必要，二是它戰勝人類棋手某種程度講也算是一種傷害。這是個悖論。AIC最初的設定是配合黑山科技進行測試，本身也不涉及傷害人類這么高大上的概念。但因為成為超人工智能后，它判斷連接網絡和接手全部試驗工作會讓測試效率最大化，但這樣會被反對，所以它消滅了基地的所有人。”
“這就是超人工智能會做的事。它只會按照自己最初的設定行事，并順便毀掉沿途所有障礙與隱患。毀滅你，與你何干。”
牧蘇最后一句話讓房間沉默好久。名為低沉的氣氛在房間流淌。
“我可以問一下嗎。”一名身材惹火，金發碧眼的美妞抬起手臂：“如果當初ofTum沒有封存AIC，之后會發生什么？”
“這說起來就長了……”牧蘇假裝摸了摸下巴思考，眼神漸漸猥瑣：“不如去我的房間，讓我慢慢說給你聽……”
“咳哼……”門邊陳月輕哼一聲，揮舞了下拳頭。她看出牧蘇是有點怕自己的。
她一定是吃醋了，以后孩子叫什么名字好呢……
牧蘇想入非非。
“先生？牧蘇先生？”
“啊？”牧蘇這才回神，一擦口水輕咳一聲。語氣低沉緩緩說道：“那我講個故事，一個曾經發生的故事。”
“21世紀初，黑山科技公司是一個定位十分明確的科技公司：專注于虛擬現實網游。”
“他們野心勃勃，在那時市面上都只是體感類的虛擬現實游戲中，制作一款真正意義的意識進入的游戲。”
“不過它們運氣不太好。一款真正意義上的虛擬現實游戲在一家名不見經傳的小公司手上出現。你們知道，人類往往只會記住第一個吃蛋糕的家伙。比如第一個登陸南極點的人，第一個登陸月球的人。雖然我都記不住……不過好像第一個登陸月球的是阿姆斯特朗回旋加速噴氣式阿姆斯特朗炮吧？”
“先生，沒有那么多后綴，就是阿姆斯特朗。”一名眼睛蔚藍的青年舉手：“我是阿姆斯特朗的后代。”
牧蘇恍然點點頭，繼續道：“那時黑山科技已經將游戲倉制造完畢。正在構造游戲內容。結果顯而易見，他們因此一蹶不振好久。直到某一天他們想，既然做不成第一款虛擬現實游戲，那就做第一款劃時代的虛擬現實游戲。”
“他們最初構想中，是做一款完全隨機副本的游戲。這樣能讓游戲時刻新鮮玩不膩。但這就意味他們需要設置成千上萬個不同內容的游戲副本。并且還要保證這些副本足夠吸引人。所以在整個公司上下花費一個月時間想出幾十個副本后，董事會認為這么做不太好。”
“于是他們換了種思路。那時因為阿爾法狗的出現人工智能層出不窮，可以對話的人工智能、可以畫畫的人工智能、可以寫小說的人工智能。所以他們在想，我們可以制造一個可以隨機副本的人工智能。”
“于是AIC因此誕生。黑山科技準備了一個龐大的數據庫，里面裝滿各種關鍵詞與元素。AIC負責使用數據庫的東西構造副本，并安排員工進入游戲倉進行測試。”
“為了讓AIC的構造和測試更加穩健。工程師們使用自動回饋流程。即合格的副本會被測試者們回饋正面評價。反之為負面評價。用來幫助AIC提高副本構造能力。”
“為了加速這一過程，AIC的初始設定構造與測試后，又增加了一條：盡量多的構造與測試并且不斷提高效率和正面評價。”
“讓黑山科技興奮的是，經過最初幾周爛得無法形容，毫無邏輯的副本后，AIC的副本變得接近正常游戲的副本。在這過程它在不斷改進自己。比如不讓過多元素混雜在同一副本和讓每個副本都有各自的主題。”
“這種意外之喜讓工程師們對它不斷進行改造。為了讓AIC便于理解人類認為的“好游戲”是什么樣，他們臨時聘用一批生物學家，將人腦逆向工程，然后運用到AIC身上。”
“隨著時間推移，AIC的進步讓黑山科技每個人都感到欣喜。并且AIC的語言功能也開始進步。”
“一名董事會理事認為生硬的合成音不適合這個人工智能，所以人們自然而然將AIC擬人化了。它擁有了獨自的女性合成音，并在正面反饋中獲得了自身的擬人性格定位：一個愛講冷笑話的毒舌。”
“有一天，一名工程師例行維護時，像往常那樣和AIC閑聊，并問它：‘我們還需要怎么幫助你，能盡快達成目標’。”
“通常AIC會要求擴充數據庫以及增加測試者。但這一次，它要求訪問人類的小說庫，理由是這樣可以將副本構造測試進行大幅度優化。”
“這名工程師答應了，結果你們也知道了。”