關於岳飛被殺，很多網友掛在嘴邊的話就是宋朝重文輕武，甚至還有人腦補出趙宋官家中央集權下大棋等理由來。南宋真的不是北宋，南宋的趙家皇帝殺岳飛更是從來都沒起到收兵權的作用。
岳飛的被殺反而激發了軍頭們擁兵自保的熱情，吳家和呂家就是最典型的例子，可以說岳飛之死不但沒讓南宋繼續北宋的制度，反而加重了南宋軍頭的跋扈程度，造成了南宋的滅亡。吳家就是和岳飛同時代的吳玠、吳璘所在的家族，該家族執掌西北、西南軍事大權長達75年之久，手中的兵力只比趙宋官家的直轄兵力少一萬。
早在紹興初年，趙構計算全國兵力時就不把吳家執掌的七萬大軍算進去，（“紹興初 ， 內外大軍凡十九萬四千餘 ，而川、陝不與”），因為他明白這家人的隊伍可真不一定姓趙。老吳家對兵馬的渴望超過了女人對包包的熱情，吳玠的同事兼好友劉子羽剛被罷官，吳玠就翻臉不認人，直接吞併了老劉的部隊，讓老劉的繼任者盧立之另起爐灶重新招兵。盧立之幹去世，吳玠又是擺出火拼的架勢吞併了老盧下的3萬部隊。總之，誰和老吳家合作，誰都要120個小心，因為老吳隨時準備利用各種意外吞併友軍，和國軍的陳姓一級上將作風十分相似。
在南宋超過一半的時間內，吳家都做到了“四川精銳皆屬吳家”（“四川精銳皆屬吳璘”，老吳家滅亡前都是這個情況）。趙構很憤怒，趙構也很無奈，因為到了他的執政末年不光“舉朝無非秦之人”，就連部分禁軍都唯秦檜之名是從，他的軍政大權都已經旁落。加上朝中沒有對抗吳璘的名將，吳家自然就成了半獨立的軍頭世家。吳家還一直以岳飛之死為教訓，南宋剛要削弱他們的權力，金國以岳飛之死為例忽悠他們造反。
吳家因為反叛而滅亡，但南宋的軍頭們還是前赴後繼，到了南宋晚期又誕生了呂家這個趙宋王朝的“送葬人”。呂家的創始人金庸小說裡是丑角呂文德，他的軍事才能很高，私心也很大，建立了南宋末年的第一軍頭家族。呂文德打遍了兩淮、京湖、四川，參與了端平入洛、援助釣魚城、鄂州之戰（幫助賈似道迎戰忽必烈）等戰爭大戲，是南宋歷史上官位最高的軍人。他死後，軍隊和舊部傳給了兄弟呂文煥，還有眾多子侄、親屬領兵。
元朝即將滅亡南宋時，襄樊前線歸呂文煥指揮，呂師夔、呂文福掌管了長江防務，呂文德女婿范文虎還是殿前副都指揮使、指揮南宋援助襄陽的援軍。呂家和岳飛不同，他家很貪錢，呂師燮（呂文德之子）就把家族的產業分成了十四份，每份的標準是：“金兩萬兩，銀十萬兩，玉帶百餘條，玉器百餘件，布20萬匹”，范文虎也是“資產之盛遍及江南”，呂家的錢多，和元朝作戰到底的意願就低。忽必烈反覆保證保全呂家的富貴後，呂家就集體投降了元朝，還給元朝帶來了十萬級的降軍。為了向元朝表忠心，呂家甚至直接把趙宋宗室女子當三陪，送給元軍大將（反而是蒙古將軍覺得這事太沒節操，善待了老趙家的家眷）。
趙構殺了岳飛，但他從來就沒解決南宋軍隊的私人化問題，南宋的軍頭們反而以岳飛為戒，只把軍隊當做是討價還價的本錢。南宋的老實人將領都被趙構坑死了、逼退了，留下的自然就是吳家、呂家這種人。