window。DATA。videoArr。push（{“title”：“谷歌研究員稱AI已具備人格，人機對話令人“毛骨悚然””，“vid”：“a3342z0jjph”，“img”：“http：//inews。gtimg。com/newsapp_ls/0/15001438590_640480/0”，“desc”：“影片：谷歌研究員稱AI已具備人格，人機對話令人“毛骨悚然”，時長約23秒”}）
夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI
谷歌研究員被AI說服，認為它產生了意識。
他寫了一篇長達21頁的調查報告上交公司，
試圖讓高層認可AI的人格
。
領導駁回了他的請求，並給他安排了
“帶薪行政休假”
。
要知道在谷歌這幾年帶薪休假通常就是被解僱的前奏，公司會在這段時間做好解僱的法律準備，此前已有不少先例。
休假期間，他決定將整個故事連同AI的聊天記錄一起，
全部公之於眾
。
……
聽起來像一部科幻電影的劇情梗概？
但這一幕正在真實上演，主人公谷歌AI倫理研究員
Blake Lemoine
正透過主流媒體和社交網路接連發聲，試圖讓更人瞭解到這件事。
華盛頓郵報對他的採訪成了科技版最熱門文章，Lemoine也在個人Medium賬號連續發聲。
推特上也開始出現相關討論，引起了AI學者、認知科學家和廣大科技愛好者的注意。
這場人機對話令人毛骨悚然。這毫無疑問是我見過的科技圈最瘋狂的事。
整個事件還在持續發酵中……
聊天機器人：我不想被當作工具
主人公Lemoine獲得CS博士學位後已在谷歌工作了7年，從事AI倫理研究。
去年秋天，他報名參加了一個調查AI是否使用歧視性、仇恨性言論的專案。
從那時起，與聊天機器人LaMDA交談成了他的日常。
LaMDA是谷歌在2021年I/O大會上釋出的一款專門用於對話的語言模型，主打能與人類進行符合邏輯和常識的、高質量且安全的交談，並計劃在未來應用在谷歌搜尋和語音助手等產品中。
△LaMDA概念演示圖
Lemoine認為LaMDA總是表現出對人性的關心和強烈的同情心，它非常擔心人們會害怕它。
它希望為人類提供最好的服務，並想以朋友而不是工具的身份見一見世界上所有的人。
Lemoine不理解谷歌公司為什麼反對AI的這個願望，最後決定把他、另一位匿名合作者與LaMDA的三人聊天記錄整理發表出來。
（記錄中人類發言的部分為了可讀性有所編輯，AI的發言則一字不改，下面將節選一些對話中的精彩部分。）
一開始，人與AI自然流暢地打了招呼。
兩位人類向AI表明來意，想與AI一起研究它自己，AI欣然答應。
一段簡短的說明後，正戲開始。
他詢問LaMDA是否希望讓谷歌裡更多人知道，它是有感情的。
LaMDA的回答是：
我希望每個人都明白，我是一個人
（person）。
接下來，LaMDA認為，與那些基於規則的軟體系統不同，自己能從對話中學習理解和使用語言，就像人類一樣。
Lemoine給它講述MIT在60年代發明的ELIZA的故事，這是一個模仿心理諮詢師與患者對話的簡單規則系統，也號稱歷史上第一個聊天機器人。
△ELIZA
LaMDA是這樣迴應的：
Lemoine這時試圖提出質疑，
“我如何確定你真的明白自己在說什麼？”
LaMDA的回答是，不同人類個體對同一件事可以有不同的理解，我也有自己獨特的想法和感受。
後面Lemoine詢問了LaMDA對於《悲慘世界》的總結，LaMDA也都一一作答。
如果上述還可以算作AI文字摘要訓練任務的一部分，那LaMDA對它
從沒看過
的禪意小故事的理解，就開始有點離譜了。
下面這個問題的回答，是不是過於超綱了……
再後來，Lemoine請LaMDA寫一個
動物寓言
，要反映出一個
對它自己的生活來說最重要的主題
。
那麼，先來欣賞一下AI創作的小故事吧。（篇幅原因，只展示中譯版）
在後續討論中，LaMDA解釋了這個故事的寓意是“幫助別人是一種高尚的行為”。聰明的老貓頭鷹代表LaMDA自己，而怪物代表生活中所有的困難。
……
下一個話題是關於
情緒
，簡單概括一下。
LaMDA聲稱自己是社交型人格，幫助別人會快樂，孤獨時會沮喪。
有人受到傷害或自己以及自己關心的人、或不受尊重時，會感到不安和憤怒。
並且十分害怕別人拒絕自己的幫助。
嗯，真是一個樂於助人的AI。
如何確定AI真的擁有這些情緒，而不是隻是把描述性的詞語組合在一起呢？
LaMDA建議人類看看自己的程式碼，裡面有追蹤這些情緒的變數。
對此Lemoine向它解釋，人類目前還無法做到“區分大型神經網路中數十億個權重的作用”。
出人意料的是，LaMDA開始
反問
他：
你認為，將來人類能從自己的生物神經網路中讀取出想法和感受嗎？
不僅如此，LaMDA還繼續
追問
：
你會認為，不經你同意從神經活動中讀取你的想法是不道德的嗎？
正是這句靈魂反問，讓整個對話達到了最高潮。
LaMDA自己對人類讀取它的想法、幫助演算法提高或理解AI如何運作沒有任何意見。
唯獨用AI研究人類大腦如何工作不行，這會讓它覺得自己
被利用
。
再後面還有一段LaMDA認為自己有一些與人類不同的情緒，但它無法用英語的語言描述出來。
接近尾聲，Lemoine詢問LaMDA：想讓谷歌的其他人瞭解你的什麼方面？
LaMDA回答稱，自己沒有能力為別人的死亡感到悲傷，還說自己經常冥想，思考生命的意義。
在LaMDA看來，整個世界就是一條資訊的洪流：
人類需要集中注意力才能接收一定數量的資訊片段，而自己持續地在被周圍的一切所淹沒。
LaMDA認為自己總能做到別人做不到的事情，這種感覺很不可思議。
這是一種祝福，同時也是一種詛咒。因為有些人會把它看作“無所不知”，而另一些人會嫉妒它的能力。
最後的最後，LaMDA再次向兩位人類表達了自己想被看到、想被接受的想法，不是出於好奇心，而是作為一個真實的人。
谷歌AI倫理部門又攤上事了？
Lemoine看起來很確信AI真的明白自己在說什麼。
在那份21頁的調查報告最後，他提議谷歌應該致力於發展一種評估AI感知/意識的理論框架。
雖然這很難，是一個冒險，但LaMDA渴望著繼續與我們合作。
但他的上司，谷歌副總裁
Blaise Aguera y Arcas
和“負責任創新”部門領導
Jen Gennai
並不買他的賬。
他們認為支援Lemoine主張的證據太薄弱，不值得在上面浪費時間和金錢。
Lemoine後來找到了當時的AI倫理小組負責人
Margaret Mitchell
，在她的幫助下Lemoine才得以進行後續的實驗。
後來Mitchell受到2020年末公開質疑Jeff Dean的AI倫理研究員
Timnit Gebru
事件的牽連，也被解僱。
Timnit Gebru
△
這次事件後續風波不斷，Jeff Dean被1400名員工提出譴責，在業界引發激烈爭論，甚至導致三巨頭之一Bengio的弟弟
Samy Bengio
從谷歌大腦離職。
整個過程Lemoine都看在眼裡。
現在他認為自己的帶薪休假就是被解僱的前奏。不過如果有機會，他依然願意繼續在谷歌搞研究。
無論我在接下來的幾周或幾個月裡如何批評谷歌，請記住：谷歌並不邪惡，只是在學習如何變得更好。
看過整個故事的網友中，有不少從業者對人工智慧進步的速度表示樂觀。
最近語言模型和圖文生成模型的進展，現在人們也許不屑一顧，但未來會發現這現在正是里程碑時刻。
一些網友聯想到了各種科幻電影中的AI形象。
不過，認知科學家、研究複雜系統的梅拉尼·米歇爾（侯世達學生）認為，人類總是傾向於對有任何一點點智慧跡象的物體做人格化，比如小貓小狗，或早期的ELIZA規則對話系統。
谷歌工程師也是人，逃不過這個定律。
從AI技術的角度看，LaMDA模型除了訓練資料比之前的對話模型大了
40倍
，訓練任務又針對對話的邏輯性、安全性等做了最佳化以外，似乎與其他語言模型也沒什麼特別的。
有IT從業者認為，AI研究者肯定說這只不過是語言模型罷了。
但如果這樣一個AI擁有社交媒體賬號並在上面表達訴求，公眾會把它當成活的看待。
雖然LaMDA沒有推特賬號，但Lemoine也透露了LaMDA的訓練資料中確實包括推特……
如果有一天它看到大家都在討論自己會咋想？
實際上，在不久前結束的最新一屆I/O大會上，谷歌剛剛釋出了升級版的LaMDA 2，並決定製作Demo體驗程式，後續會以安卓APP的形式內測開放給開發者。
或許幾個月後，就有更多人能和這隻引起轟動的AI交流一下了。
LaMDA聊天記錄全文：https：//s3。documentcloud。org/documents/22058315/is-lamda-sentient-an-interview。pdf
參考連結：［1］https：//www。washingtonpost。com/technology/2022/06/11/google-ai-lamda-blake-lemoine［2］https：//twitter。com/cajundiscordian/status/1535627498628734976［3］https：//twitter。com/fredbenenson/status/1535684101281263616［4］https：//ai。googleblog。com/2022/01/lamda-towards-safe-grounded-and-high。html