畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

文章來源於CellPress細胞科學

人類大腦儲存著關於大千世界的繁複龐雜知識—從玫瑰花的顏色、如何使用手機等常識,到抽象數理(玫瑰曲線的極座標方程)和文化知識(玫瑰象徵愛情)等等。知識是抽象於特定時間、地點的一般性“語義記憶”,是我們識別、使用物體,進行語言溝通和思維推理等高階認知活動的基礎。

北京師範大學認知神經科學與學習國家重點實驗室畢彥超課題組王效瑩博士等在Cell Press細胞出版社旗下期刊Neuron近期發表的題為“Two forms of knowledge representation in the human brain” 的論文[1],對人腦兩種不同知識表徵機制的存在提供了直接證據。

畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

大腦對這些知識是以什麼樣的機制進行儲存、編碼、加工的?這是哲學、心理學、認知科學、神經科學以及人工智慧領域都關注的經典科學問題。不同的領域對這個經典問題有著非常不同的視角。儘管我們日常的知識獲取和表達很多透過語言進行,人工智慧領域對知識表徵的研究也主要關注於語言材料,神經科學領域的理念卻非常不同。認知神經科學近二十年研究發現,提取知識時會啟用包括感覺、運動聯合皮層的廣泛分佈的大腦皮層。因而主流觀念是“具身經驗論“,認為知識儲存以個體的視覺、聽覺、運動等感覺、運動經驗形式,按內容分佈儲存在各個感覺與運動皮層。而大腦中是否存在獨立於感覺和運動經驗的、抽象符號化的知識表徵一直爭論很大,缺乏清晰的證據。

畢彥超課題組此項工作對人腦兩種不同知識表徵機制的存在提供了直接證據。她們對比了先天盲人與健康人群加工物體顏色知識的行為和腦活動模式。顏色的特殊之處在於它只能由單一感覺通道(視覺)獲得,不像形狀、運動等其他型別資訊,除了視覺還可以透過觸覺、聽覺等獲得。剝奪視覺則完全剝奪了感覺顏色資訊的途徑。因此,透過檢驗先天盲人的顏色知識表徵及其腦基礎可以揭示非感覺經驗形式的知識表徵的機制。

三個行為實驗的結果表明,盲人與健康人群對顏色知識的回答模式非常相似——香蕉是什麼顏色?香蕉和草莓的顏色有多相似?紅色與橙色更相近還是與藍色更相近?(圖1)。表明盲人在沒有任何感覺經驗情況下,可以透過語言獲得與健康人相似的知識表徵。

畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

▲圖1 先天盲人與健康被試具有高度相似的物體顏色知識

進一步關鍵問題則是,這兩種情況下(存在視覺感知vs。無感知)所獲得的知識是否由大腦中不同系統所編碼?採用功能磁共振成像,她們檢驗了兩組志願者在提取物體顏色時的大腦活動模式,發現兩個有趣的腦區:1)左側前顳葉背側—與語言網路相關的一個腦區—在健康被試和盲人中都編碼物體顏色知識,顏色相似的物體(例如,“香蕉”和“菠蘿”)相比顏色不同的物體(例如,“香蕉”和“草莓”)在該區域活動模式更相似(圖2)。2)腹側顳枕皮層—健康被試感知顏色時啟用的腦區—在健康被試中編碼物體顏色知識,而先天盲人則沒有這個特點(圖3)。健康被試中這兩種顏色知識編碼腦區存在腦功能連線,而盲人沒有。

這組結果不僅僅體現透過語言可以獲得不依賴感覺經驗的抽象知識(盲人的顏色知識),而且更重要地表明,即使對於可以透過感覺經驗獲得的知識(比如香蕉的顏色對於健康人),也同樣存在兩種不同的編碼系統:一種與感覺直接相關,在視覺顏色加工腦區;另一種在左側前顳葉背側,與盲人中僅透過語言獲得的知識的儲存腦區相同。

畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

▲圖2 盲人與健康人的左腦顳葉前部背側均編碼物體顏色知識

畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

▲圖3 腹側顳枕皮層僅在健康人中編碼物體顏色知識

感覺運動經驗+抽象符號的人類大腦雙重知識表徵機制,在畢彥超課題組王效瑩博士、王曉莎博士、徐仰文博士等及合作者的前期工作中有初步揭示,從大腦語義網路連線模式、大腦與人工智慧自然語言處理模型對比等角度提供了與當前研究相一致的證據[2][3][4][5][6]。

當前研究為這種雙重知識表徵機制提供了更直接證據。這一系列研究成果體現了大腦不同系統對資訊內容(顏色vs。形狀等)和型別(感覺訊號vs。符號關係訊號)的敏感性,也表明人類語言不僅僅是用於溝通的表達符號,也參與概念知識的編碼。

這些發現對知識獲得和加工提出了一系列新的問題:兩種知識編碼的相關腦區神經計算機制分別有何特點?兩個系統如何相互作用?人類知識獲得(學習、教育)效果是否受兩種編碼模式影響?是否非人靈長類動物的知識儲存機制僅存在基於感覺運動經驗的編碼形式?機器智慧在表徵知識時,除了語言符號編碼,整合感覺型別編碼是否可以實現更全面的智慧?這些問題均有待未來探索。

此研究第一作者為王效瑩博士,畢彥超教授為通訊作者。哈佛大學Alfonso Caramazza教授參與合作討論。腦影像資料於北京大學磁共振成像研究中心採集,得到高家紅教授、門衛偉博士及北京大學國家蛋白質科學中心的大力支援。此工作得到國家自然科學基金傑出青年基金、青年科學基金和麵上專案,長江學者研究經費和北京師範大學交叉學科等經費支援。

參考文獻:

1 Wang, X。Y。, Men, W。, Gao, J。-H。, Caramazza, A。, and Bi, Y*。 (2020)。 Two Forms of Knowledge Representations in the Human Brain。 Neuron。 107, 1-11。

2 Striem-Amit, E。#*, Wang, X。Y。#, Bi, Y。*, and Caramazza, A。 (2018)。 Neural representation of visual concepts in people born blind。 Nature Communications。 9, 5250。

3 Wang X。S。#, Wu W。#, Ling Z。, Xu Y。, Fang Y。, Wang X。Y。, Binder J。, Men W。, Gao J。, Bi Y。* Organizational Principles of Abstract Words in the Human Brain。 Cerebral Cortex, 2018, 28: 4305-4318。

4 Xu, Y。, Lin, Q。, Han, Z。, He, Y。, and Bi, Y*。 (2016)。 Intrinsic functional network architecture of human semantic processing: Modules and hubs。 Neuroimage 132, 542–555。

5 Xu, Y。, He, Y。, and Bi, Y*。 (2017)。 A Tri-network Model of Human Semantic Processing。 Front。 Psychol。 8, 1538。

6 Peelen, M。#*, He, C。#, Han, Z, Caramazza, A。, Bi, Y。* (2014)。Nonvisual and visual object shape representations in occipitotemporal cortex: evidence from congenitally blind and sighted adults。 The Journal of Neuroscience, 34(1), 163-170。

作者專訪

針對此項研究,Cell Press細胞出版社特別邀請了本文通訊作者北京師範大學畢彥超教授進行了採訪,請他她為大家進一步詳細解讀。

Cell Press:

在本研究中,對於相同組別中的不同個體之間是否存在由於性別、年齡等因素導致的結果差異?實驗過程中是如何控制這些無關變數的?

畢彥超教授:

不同個體的大腦的確會有一定的差異和共性,本身是個有趣的科學問題。從本研究來講,核心關心的問題是視覺缺失的系統影響,在兩組志願者(盲人vs。健康被試)之間上匹配了年齡、教育程度等可能會影響腦活動的無關因素。組內的個體差異是透過基本的統計分析加以考慮,組間差異與組內個體差異相比較。

Cell Press:

這種人類大腦雙重知識表徵機制的發現,在生物醫療或其他領域將具有什麼樣的應用前景?

畢彥超教授:

知識表徵與人類極為廣泛的認知功能相關,是長時記憶的一部分、語言的意義(語義)、識別、使用物體和思維的基礎。發現人腦裡知識根據感覺訊號和符號關係在不同腦區儲存,對神經科學記憶編碼機制、語言在人類智慧中作用的理解都是一個新的切入點。提示臨床醫療中發育或獲得性腦損傷引起的語言或感知覺障礙群體,需要關注其對知識獲得和儲存的影響。在學習和教育領域(知識獲得)和機器智慧的知識表徵問題上都有了一個新的理論框架—關注感知覺和語言的共同貢獻。

Cell Press:

在本研究的開展過程中遇到的最大困難是什麼,又是如何攻克的?

畢彥超教授:

最大的困難一方面是思路上的。之前的很多研究試圖探討這個問題,但因為人思維複雜性、不同通道感覺之間的相關及與抽象知識的相關,結果經常有多種可能解釋。本研究從顏色這個視覺單一通道特徵入手,對比盲人這一特殊群體被試,可以乾淨地剖離掉感覺訊號作用,從而對健康被試的不同腦區活動模式的認知意義加以提示。另外的困難是從認知水平的角度—如何敏感、準確地探查盲人的內在顏色知識?比如請志願者描述物體顏色,但他們可能僅僅是簡單的聯絡物體名字和顏色名字(玫瑰-紅),或者透過其他物體知識建立起的簡單聯絡(紅色-熱)。我們的方式是結合三種行為評定實驗,建構其內在認知空間的分佈,並平行建構其他型別物體知識(形狀、味道等),加以分析。

Cell Press:

團隊下一步有什麼計劃?是否會基於本研究對於兩種知識表徵機制進行深入探究?

畢彥超教授:

是的。我們團隊一直關注人類知識表徵及相關語言和物體識別問題。我們下一步工作中與臨床和計算領域合作,期待對這兩種表徵機制的發展、損傷和計算機制有進一步的研究。

通訊作者介紹

畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

畢彥超 教授

畢彥超教授,北京師範大學認知神經科學與學習國家重點實驗室、IDG/McGovern Institute for Brain Research 教授。於2006年獲哈佛大學心理學系腦、認知、行為專業博士學位。教育部長江學者特聘教授、國家傑出青年科學基金獲得者、“973”青年專項首席科學家、國家優秀青年科學基金、中組部青年拔尖人才、教育部新世紀優秀人才基金獲得者。獲Sackler Scholars Programme in Psychobiology獎、美國心理科學學會新星獎。

第一作者介紹

畢彥超團隊發現人腦知識表徵的雙重編碼 | CellPress對話科學家

王效瑩 博士

王效瑩博士,北京師範大學認知神經科學與學習國家重點實驗室、IDG/McGovern Institute for Brain Research 助理研究員。2014年畢業於北京師範大學腦與認知科學研究院,獲基礎心理學博士學位。主要從事關於人類概念表徵的腦神經基礎研究,尤其關注感知覺經驗在概念表徵中的作用及其對概念表徵腦神經基礎的影響。

TAG: 知識表徵顏色編碼畢彥超