1塊GPU+幾行程式碼,大模型訓練提速40%!支援HuggingFace
除了如上提到的用單張GPU訓練大模型外,Colossal-AI在擴充套件至數十張甚至數百張GPU的大規模並行場景時,相比於英偉達Megatron-LM等現有系統,效能可以翻倍,使用資源可以降低至其十分之一之下...
除了如上提到的用單張GPU訓練大模型外,Colossal-AI在擴充套件至數十張甚至數百張GPU的大規模並行場景時,相比於英偉達Megatron-LM等現有系統,效能可以翻倍,使用資源可以降低至其十分之一之下...