1959年7月中旬，在党中央召开的庐山会议上，彭德怀根据他深入群众、实地视察的所见所闻，对“大跃进”与人民公社工作中存在的问题，给国家带来的困难，为民请命，坦率地提出了自己的看法和意见。意见未被接受，反而受到了错误的批判，打成“右倾机会主义反党集团”，紧接着便被免去了国防部长等职务。

　　彭德怀回到北京后，中共中央开了一个月的军委扩大会议。全军高级干部1000余人对彭德怀的批判刚结束，彭德怀就让妻子浦安修去找中共中央办公厅主任杨尚昆，提出他搬出中南海的要求。他对妻子说：“我没有工作了，中南海也没有活动的地方，再住会玷污党中央的声誉。你说我请求找个能劳动的地方住，实现我对毛主席的保证：‘劳动生产，自食其力’。”

　　中南海这个明清两代王朝的帝王之居，从1949年以来，就是中国共产党和新生的人民共和国核心领导人物的住地，是搏动着党和国家心脏的地方。彭德怀在这里住了7年多。从11岁离家给富农刘十六家放牛以来，他的一生是在谋生的奔波与战争的搏杀中度过的。中南海，这是他从小离家以来驻留最久的地方。9月30日中华人民共和国建国10周年的前夕，彭德怀举家从中南海永福堂迁出。新的去处是北京西郊颐和园附近的挂甲屯吴家花园。他从不曾想到今天是在这种情况下离开这个地方。

　　几天前，他把崭新的蔚蓝色元帅服、狐皮军大衣、几件军装、几枚勋章、一幅辛亥革命元老廖仲恺夫人何香凝绘赠的猛虎图，上交给了党中央。留下书籍、必要的换洗衣服和日常用品，还有几件具有特殊纪念意义的东西：一支左轮手枪，一枚红星勋章、一包历史资料、八块红军时代保存下来的分“伙食尾子”所得的银圆。他将要开始一种从来没有体验过的生活——离群索居，闭门思“过”，劳动，自食其力。

　　彭德怀被罢官之后，给毛泽东写了一封信，谈他今后的打算是，读一点马列主义著作，做一些社会调查，参加一些劳动，以自食其力。毛泽东对前两条表示同意，对第三条则认为他年纪大了，不必了。

　　挂甲屯这个地方，传说杨家将中的杨六郎北征辽邦时曾在此挂甲歇息过，因而得名。真是历史的巧合，时隔近千年后，像彭德怀这样一位在漫长而艰难的中国革命史上战功赫赫、叱咤风云的人物，被撤销国防部长职务后，也在此挂甲。所不同的是，不但挂甲，而且归田。

　　至于吴家花园，虽称“花园”，早已荒芜，亭台廊榭，大都破败。按照清廷规划，它本是圆明园的一个分园，后因战乱，财源拮据，终于没能与圆明园接通。正因两园相隔一段距离，英法联军入京焚毁圆明园时，此园得以幸免而残存下来。为何叫吴家花园呢？据史料记载，明朝末年，大将吴三桂任辽东总督，驻守山海关，闯王李自成攻克北京城后，吴三桂暗引清兵入关，偷袭京都，一举镇压了农民起义军。尔后纳京城名妓陈圆圆，藏娇于此，过着骄奢淫逸的生活。故后人称此园为吴家花园。由于年久失修，无人居住，园内杂草丛生，蛇鼠乱窜；屋内阴暗潮湿，蛛网密布。它分南北二院，彭德怀住的是南院。

　　跟随彭德怀多年的有三位工作人员：警卫参谋景希珍，秘书綦魁英，司机赵凤池。搬家之前，彭德怀让綦魁英和赵凤池打前站观看地形。面对这荒凉破败之象，綦、赵二人心里凉了半截，埋怨彭德怀看也不看便选中了。回去向彭德怀报告，建议他另选地方。彭德怀听后哈哈大笑，说：“好！好！开荒种地，这正是我要去的地方！”

　　中央同意彭德怀迁居吴家花园，指示北京卫戍区一师清理大院，并负责以后的警卫任务。一师很快从友谊宾馆警卫连抽调一个班，穿上便衣，由副连长带队进驻。还没等警卫班清理完毕，彭德怀就匆匆忙忙把家全部搬来了。战士们正在平地、铲草、运送垃圾，彭德怀一下车便走进人群干开了，然后把“家庭成员”集合起来，向战士们一一作介绍。他让夫人浦安修拿些钱给綦魁英买些瓜果饮料慰劳大家，又交代景希珍去购买锨、镐、锄头、粪桶之类的农具，并特意嘱咐他，别忘了“请”一张毛主席像回来。

　　这时，副连长运垃圾回来，仔细打量着彭德怀，十分内疚地说：“首长，我们还没清理打扫干净，您就搬来了，还和大家一起干，我们可真有点过意不去。您是上了年纪的人，这活儿，说啥也不能让您干，这是我们的任务。”