認知模型既包括模擬人腦神經元工作的亞符號模型，也包括著眼於抽象心智慧力的符號模型。而符號模型正是由計算機科學中的知識推理系統演化而來的。在面向認知的預訓練框架中，如何將知識這種符號資訊與神經網路結合是一個重要的研究課題，也就是所謂的神經-符號結合模型。
ERNIE
預訓練語言模型是典型的資料驅動模型，透過在大規模資料上進行學習，該類模型在許多自然語言處理任務上取得了十分優秀的成績。資料、演算法、算力、知識是組成人工智慧的四大基礎，現有的資料驅動模型在未來的發展當中需要將知識考慮進來，使資料驅動和知識驅動結合起來，做到更有深度的語義理解與推理。
清華大學自然語言處理與社會人文計算實驗室在該方向上已作出一系列具有影響力工作。針對預訓練語言模型對低頻實體建模能力不佳的問題，有研究者提出了使用資訊實體增強的語言表示模型（Enhanced Language Representation with Informative Entities，ERNIE），透過引入外部的知識資訊：知識圖譜（Knowledge Graph，KG）來改善預訓練模型。
例如，“鮑勃·迪倫寫了《在風中飄》，並寫了《搖滾記》”，在這一句話裡有兩個“寫”的描述，但從字面上來看無法瞭解到“寫”的真正意思。在得知“在風中飄”是指一首歌“，搖滾記”是指一本書之後，人們才能知道第一個“寫”的意思是寫歌，第二個“寫”的意思是寫書。理解兩個“寫”的意思可以幫助模型進行關係分類和實體分類：對於關係分類來說，在第一句中人們可以得出“鮑勃·迪倫”和“在風中飄”的關係是作曲者，在第二句中人們可以得出“鮑勃·迪倫”和“搖滾記”的關係是作者；對於實體分類來說，人們可以得出第一句中“鮑勃·迪倫”是一名作曲家，在第二句中“鮑勃·迪倫”是一名作家。由上述例子可以得出外部知識確實能有效地幫助模型對句子的建模，其具體的優勢如下：首先，在文字中存在著一些低資源的實體，利用外部的知識圖譜可以準確地將其識別；其次，知識圖譜可以幫助引入句子相關的額外事實，幫助原文字的理解。
為了抽取和編碼知識資訊，ERNIE首先在給定的文字中識別出命名實體的對應詞彙，然後將這些出現的實體詞彙與知識圖譜中的實體構建對應關係。考慮到模型不方便直接使用圖結構的知識圖譜資訊，ERNIE選用了知識表示的演算法（如TransE）對知識圖譜編碼，獲得實體的表示和關係的表示，然後將實體的表示作為ERNIE的輸入。在這裡，假設實體的表示攜帶了知識圖譜中相關的事實資訊，可以有效增強模型的語言建模能力。透過構建文字和知識圖譜之間的對齊關係，ERNIE將知識資訊整合入預訓練語言模型的語義模型當中。
與BERT類似，ERNIE採用了遮蔽語言模型（Masked Language Model），將下句預測任務作為ERNIE的預訓練任務。除此之外，為了能夠更好地融合文字特徵和知識特徵，我們設計了一個新的預訓練任務——降噪實體自編碼機。實體自編碼機首先輸入實體的序列，在輸出的時候使用詞的向量將輸入的實體序列還原出來，在自編碼機的訓練過程中將實體的資訊融合到詞的向量當中。除此之外，考慮到下游的實體連結結果來自其他模型，可能會存在一些錯誤，ERNIE在輸入的實體序列中隨機加入了一些噪聲，目的是增強自編碼機的魯棒性。與僅利用上下文來預測單詞的現有預訓練語言表示模型不同，ERNIE需要融合上下文的資訊以及相關的事實資訊，以獲得一個融合知識的語言表示模型。
KEPLER
從文字中識別出相關實體需要額外的開銷，並且存在一定的噪聲。研究者們設想如果模型能夠同時對文字進行語言模型訓練並對符號化知識圖譜進行學習，便可以有效學習文字中可能出現的相關圖譜知識，因此提出了知識嵌入（Knowledge Embedding，KE）的統一模型和預訓練的語言表示（KEPLER），它不僅可以將事實知識更好地整合到預訓練語言模型中，而且還可以透過豐富的知識有效地學習KE文字資訊。與現有方法相比，作為預訓練語言模型，KEPLER具有以下優勢：（1）能有效地將事實知識整合到預訓練語言模型中；（2）從遮蔽語言模型學習中具備強大的語言理解能力；（3）加入KE的學習目標，增強了KEPLER從文字中獲取知識的能力。作為KE模型，KEPLER的優勢在於：（1）可以更好地利用來自實體描述的豐富資訊；（2）可以對未見過的實體產生表示。
KEPLER是一個聯合知識嵌入和文字預訓練的模型，它將將事實知識和語言理解結合到一個模型中，使用遮蔽語言模型和圖譜表示模型兩個訓練目標進行聯合訓練。KEPLER主要針對如何使用預訓練模型進行知識表示學習進行了適配。它將實體描述輸入文字編碼器，得到對應實體的表示向量，再根據知識圖譜中的實體三元組（頭實體，關係，尾實體），使用文字實體表示和對應的關係表示向量，計算知識嵌入的訓練目標函式。如何進一步構建文字和圖譜的聯絡，推動知識在認知計算中的發展仍是一個重要的研究方向。
CorefBERT
人類總結的抽象知識也可以用於指導模型的預訓練。語言學家認為指代消解是長文字處理的重要問題，然而現有的模型沒有顯式地考慮指代資訊，使得它們在一些指代相關的任務中表現不佳。為此，有研究者提出CorefBERT，在預訓練階段引入指代消解知識的學習。在自然語言文字中，存在許多由實體重複出現而產生的指代。研究者認為一個實體在一段文字第二次出現時，大機率地與它第一次出現時指代的是同一個事物。基於這個遠端監督的假設，研究者進而提出了提及指代預測任務（Mention Reference Prediction，MRP），遮蓋重複出現名詞的其中一個出現位置，並透過基於複製機制的損失函式顯式地建立它與其他出現位置的指代聯絡。使用一個基於複製機制的損失函式建立其詞與上下文之間的聯絡，更容易對指代關係進行建模。此外，與遮蓋語言建模任務相比，提及指代預測訓練任務更鼓勵模型建立長距離的指代聯絡，使模型更好地理解全文。