1959年9月17日，根據會議的決定，元帥（彭老總）不再擔任國防部長的職務。不擔任重要職務後，元帥（彭老總）搬家了，他離開永福堂，搬到了京城西北郊掛甲屯吳家花園居住。
關於掛甲屯，據當地村民說，因北宋時期楊家將楊六郎曾在此晾曬鎧甲，故得此名。而關於吳家花園，則有很多傳說，有人說這地方是吳三桂修建的一處園林，吳三桂與陳圓圓曾在此居住。但也有人說吳家花園原是承澤園西部的一部分，興建於清朝，雍正皇帝把該園賜給了給果親王允禮。清末時期，吳家花園歸攝政王載灃所有。到了民國，袁世凱的兒子袁克定曾在此居住。後來，實業家吳鼎昌買下這個園林，改叫吳家花園。
廬山霧重風蕭蕭，掛甲離京十里遙。
一生戎馬無暇日，老來偷閒學種桃。
在吳家花園，元帥一邊學習，一邊開荒種地。他種了南瓜、茄子、辣椒等蔬菜及一些其他瓜果，他還在院內挖塘養魚，在池塘南邊還種了一小塊水稻。元帥在吳家花園居住期間，他的侄子彭起超兩次到此看望伯伯。彭起超是元帥的侄子，他的父親是革命烈士彭榮華。彭榮華有六個子女，分別為：彭起超、彭秀蘭、彭愛蘭、彭康志、彭正祥、彭鋼。
彭起超早年畢業於哈軍工，曾在前線部隊任職。元帥出事後，彭起超被調到武漢空軍工作，負責看守王家墩機場跑道。彭起超有個未婚妻叫小李，二人談了八年，準備結婚。可因為元帥的事情，小李含淚提出分手。後來，經人介紹，彭起超與家鄉的農村姑娘劉慶雲結婚。1962年5月的一天，彭起超帶著妻子劉慶雲從武漢來京看望伯伯。二人在吳家花園住了一段時間。見到侄子、侄媳後，元帥十分高興。他與侄子說古論今，彭起超問了許多問題，元帥有問必答，並不諱言。彭起超從伯伯的談話中，瞭解到了不少黨的歷史。
有一天，彭起超大著膽子問伯伯，關於他對一些高階將領的看法。元帥實話實說。當說到犧牲的戰友時，他特別提到了彭雪楓。彭雪楓戰功卓著，打了無數場勝仗。1944年9月，擔任新四軍第四師師長兼政委的彭雪楓，在八里莊戰鬥中不幸壯烈犧牲，年僅37歲。談及彭雪楓時，元帥說：“他為人正派，有問題當面談，不同意見桌上吵，吵完了照樣好。”當談及他的入黨介紹人段德昌時，元帥則感慨地說：“他是名將啊，可惜哦。他最終被夏曦殺掉了……”
當談及幾位開國上將時，元帥突然拍了一下自己的腿，說道：“我想起了一件要緊的事！我這個人一生犯過不少錯。一九五八年春夏的全軍反教條主義，就是一個。當時開了兩個月的軍委擴大會議。現在回想起來，當時對蕭克等一批同志的批評和處理太過火，言過其實，使他們受了委屈，甚至一些同志被降級、降職。雖然這不是我的本意，但我是會議主持人。”
元帥又對侄子說：“起超，你記住了，以後有機會，你代表我去看看蕭克同志。你就轉達我的原話，就說我向他道歉了，1958年讓同志們受苦了，對不起同志們！”在吳家花園住了一段時間後，彭起超帶著妻子劉慶雲，返回武漢。
一九七六年後，彭起超向開國上將蕭克轉述了彭元帥的原話。蕭克將軍聽後，心情非常激動。他感慨說：“元帥是一個真正的黨員！光明磊落，坦坦蕩蕩！”