英偉達和微軟共同合作,訓練出目前世界上最強大的語言模型之一
10 月 11 日,英偉達公司和微軟公司宣佈了他們共同開發的全世界迄今為止所訓練的最大、功能最強的單片轉換器語言模型,這一語言模型是一個擁有高達 5300 億個引數的 AI 模型,稱為 Megatron-Turing 自然語言生成模型,簡...
10 月 11 日,英偉達公司和微軟公司宣佈了他們共同開發的全世界迄今為止所訓練的最大、功能最強的單片轉換器語言模型,這一語言模型是一個擁有高達 5300 億個引數的 AI 模型,稱為 Megatron-Turing 自然語言生成模型,簡...
在訓練過程一共使用了 4480 塊英偉達 A100 GPU ,作為兩家公司 Turing NLG 17B 和 Megatron-LM 模型的繼承者,MT-NLP 包含5300億個引數,在一系列廣泛的自然語言任務中實現了無與倫比的準確性,例如...
因此研究人員結合Megatron-LM和PyTorch深度學習最佳化函式庫DeepSpeed,建立了高效且可擴充套件的3D平行系統,將資料、工作管線和基於張量切片的平行性結合在一起,來克服訓練大型語言模型所遭遇的困難...