《三國志·蜀志·先主傳》載劉備家貧，少孤，“與母販履織蓆為業”。又云：“先主不甚樂讀書，喜狗馬、音樂、美衣食，好交結豪俠，年少爭附之。”漢末，黃巾起義爆發，煙塵四起，劉備棄學從軍，後征戰四方，顛簸流離，及由荊州入成都，才跨有荊、益二州，稱帝於蜀。曹操青梅煮酒論英雄，指劉備雲：“天下英雄唯孤與使君耳！”廣漢彭羕（字永年）失意於位，罵劉備“老革荒悖”。意指劉備是個老兵，昏庸無道。可見劉備常年在軍旅中，無暇讀書。
然而，劉備並不是一個不學無術、不喜讀書的人。他十五歲即從學於涿郡名儒盧植。在軍旅中，三顧茅廬，與諸葛亮論天下形勢，其用兵行師，深得兵法之旨。及白帝城託孤，遺詔對後主劉禪說：“唯賢唯德，能服於人。爾父德薄，勿效之。可讀《漢書》、《禮記》》、《商君書》，益人意智。聞丞想為寫《申》、《韓》、《管子》、《六韜》一通已畢，未送，道亡，可自更求聞達。”另外，其遺詔中“勿以惡小而為之，勿以善小而不為”成為千古名句。體會此中所說，劉備即使在軍旅之時，也常在讀儒經、諸子百家之書，以為己所用，否則他是說不出以上的話的。
他與“劉項原來不讀書”的劉邦項羽不同，漢高祖劉邦雖重視人才，但不喜儒生、潑口罵人，項羽更是不重視人才。劉備不甚樂讀書，不是不讀書，而且這還是他青年時的情況，他要成大事、立大業時，已不像“昔日的吳下阿蒙”，他求賢若渴，以經、史、諸子之書來充實自己，用於政治，可說為天下三分之英雄。有人引《劉先主傳》說劉備“不甚樂讀書”，來指責劉備學問欠缺，這是十分謬誤的。須知人無完人，金無足金。劉備是政治家、軍事家而不是儒生啊！
在用人方面，劉備確實有過人之處。他一眼看出馬謖既無關張之勇，更無孔明之智，只是個參謀人才，臨死之前特意對諸葛亮說“馬謖言過其實，不可大用。”但諸葛亮最看重馬謖，伐魏時用馬謖守街亭，直接導致了重大失敗。可以看出劉備是不喜歡誇誇其談的人，重用有真才實用的人。