嘉靖四十三年（1564年），舒爾哈齊出生於遼東。父親塔克世為指揮使。母親為建州右衛都指揮使王杲的長女額穆齊。舒爾哈齊5歲時，生母不幸去世，家事開始由繼母納喇氏主持。
繼母為人刻薄，對舒爾哈齊兄弟冷若冰霜。剛剛五六歲的舒爾哈齊便跟隨哥哥努爾哈赤到深山野林中，採集松子、木耳、蘑菇，獵取野禽，然後再將這些山貨送往撫順的馬市出售，貼補家用。然而，他們的奔波和勞作並沒有換得繼母的絲毫憐憫。無奈，10歲時，舒爾哈齊便跟隨哥哥離開家，寄居在外祖父王杲門下。
萬曆二年（1574年），明朝遼東總兵李成梁率軍破王杲的古勒寨時，努爾哈赤和舒爾哈齊雙雙被俘，被充作幼丁，隨軍征戰。每次作戰，明軍都讓女真俘虜打頭陣，往對方的刀陣裡衝。
幾仗下來，大部分的女真俘虜都戰死，只有努爾哈赤兄弟僥倖活了下來，並且練就一身健壯的體魄和精湛的武藝。萬曆十一年（1583年），舒爾哈齊的祖父和父親死在了明朝的亂軍之中。舒爾哈齊與兄長努爾哈赤兩人悲痛欲絕，一起離開了明軍，回到了家中。
經過一番深思之後，兩人決定為死去的親人報仇，依靠著祖父遺留下來的十三副鎧甲起兵，拉起了一支百餘人的隊伍，開始了建立後金的偉大事業。在創業歲月中，舒爾哈齊成為了兄長努爾哈赤的得力助手和主要戰將。