庐山会议后，撤销了彭德怀在军队内的职务，但仍保留中央委员、中央政治局委员的职务。党内文件照发，中央政治局会议也照常通知他参加，不过彭德怀照例请假就是了。根据毛泽东的意见，彭德怀有什么事都是通过杨尚昆这个办公厅主任向中央反映。

      1959年国庆节前夕，彭德怀搬出中南海，移居吴家花园。10月21日，毛泽东找彭德怀谈话，刘少奇、周恩来、朱德、邓小平、彭真、贺龙、陈毅等同志都到了，我也在座。毛泽东肯定了彭德怀9月9日写信要求学习和参加生产劳动的意见。说读几年书好，要学点马克思主义的哲学、政治经济学。谈话时气氛很好，谈话以后又共进午餐。彭德怀离去以后，毛泽东嘱我以后要经常去看望彭德怀。每月至少两次，主要是了解他的思想动态，帮助他联系和解决学习和生活上的一些问题。11月9日，我和彭真一起去彭德怀处，在彭那里召集高级党校党委常委会，杨献珍、艾思奇、范若愚等同志都到了。当场安排了彭德怀到党校学习的问题，并当面交代，彭德怀是毛主席批准到党校学习的，要派专人辅导他的学习，有什么问题由杨献珍同彭德怀直接联系。

       后来，毛泽东多次提出，要彭德怀出来做点事。有一次，他对我说，可以让彭德怀当农垦部部长，要我去征求彭德怀的意见。当然，如果彭德怀同意，下一步还要做王震的工作，让王震把农垦部部长的位置让出来。我考虑，那时彭德怀的情绪很不好，不可能出来工作，因而一直没有同彭德怀谈。还有一次，毛泽东指定我和陈毅、聂荣臻三个人去做彭德怀的工作，主要是说服彭德怀承认错误，有所表示。可是彭德怀心里不服，一直顶着不表态，我们三个人都认为不好开口。以后我见到毛泽东，就说你要我们三个人去做彭德怀的工作，你讲个方针才好。毛泽东看到我们有难处，笑了笑说，那就算了吧!

      1961年9月19日，彭德怀给毛泽东写信，要求到农村去做调查研究，请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。他提出，如果允许他外出调查，行前希望见主席一面。我立即把彭德怀的信送给毛泽东，过了些日子，毛泽东批回来：“彭德怀到哪里去都可以。半年也行。”10月23日，我去彭德怀处，把毛泽东同意他下去调查的情况告诉他。25日晚，彭德怀到我的办公室，交来一份去湖南的调查提纲，并要求中央办公厅给他派一个临时秘书，随他去湖南，帮助整理调查材料。第二天，我把金石同志找来，对他说：“彭德怀最近提出要回湖南家乡看看，作些农村调查。因为庐山会议后彭原来的秘书都回军委去了，这次他下去要求中办给他派一位同志帮他整理材料，我们考虑你去比较合适。”金石有些紧张，我对他说：“彭德怀现在仍然是政治局委员，你还是要尊重他。你帮他整理材料，他要你怎么写，你就怎么写，有错误由他负责，与你无关。”

      10月30日，彭德怀离京去湖南。他到长沙后，湖南省委书记胡继宗向他介绍了有关情况；在湘潭，由湘潭地委书记华国锋接待。11月3日，彭德怀就到了他的家乡湘潭县乌石大队为民生产队（彭家围子）。

      一个多月以后，彭德怀从华国锋那里得知中央准备召开一次由中央局、省、地、县委和大的厂矿企业一级负责人参加的扩大的中央工作会议，他认为这个会议主要是总结1958年“大跃进”以来的经验教训，十分重要，决定立即结束湖南调查返回北京。

       彭德怀这次去湖南，历时50多天，最后整理了5份调查报告，他要金石交给我，并附信说：“这些材料都已经和省、地、县委同志交换过意见，没有大的不同意见。如有错误，完全由我负责。”我把彭德怀的几份调查材料连同金石写的随彭德怀去湖南情况的报告一并报送毛泽东。这件事，事前经过毛泽东批准，事后又向毛泽东作了报告，从工作程序和组织原则上讲都是无可指责的。

       彭德怀回京以后，看到1962年1月扩大的中央工作会议(即七千人大会)的文件，对刘少奇的书面报告认为是比较实事求是地总结了1958年以来的经验教训，还是满意的；对报告中再次肯定庐山会议的反右倾斗争，也不想要求平反。但是，1月27日，刘少奇在大会上讲话，说：“彭德怀的错误不只是写了那封信，一个政治局委员向中央主席写信，即使信中有些意见是不对的，也并不算犯错误。”“庐山会议之所以要展开反对彭德怀同志的反党集团的斗争，是由于长期以来彭德怀同志在党内有一个小集团。他参加了高岗、饶漱石反党集团。”“更主要的不是高岗利用彭德怀，而是彭德怀利用高岗，他们两个人都有国际背景，他们的反党活动，同某些外国人在中国搞颠覆活动有关”。因而，“所有的人都可以平反，唯彭德怀同志不能平反”。彭德怀对此非常气愤，立即打电话给我说：“请转报主席和刘少奇，郑重声明没有此事。”事后，彭德怀还向人表示，看了刘少奇的讲话，很不舒服。书读不下去，觉也睡不好。彭德怀本来打算春节以后再到太行山老解放区去看看，搞些调查研究，现在这个样子不能去了，去了人家不好办。

       七千人大会结束以后，彭德怀立即动手把自己的一生经历、是非曲直详细地写了一个书面材料，要求中央予以审查。这就是后来所谓彭德怀翻案的《八万言书》。6月16日，彭德怀到中南海把这份材料亲手交给我，我按照他的要求，印发给毛泽东和中央政治局、书记处各同志。为了郑重，《八万言书》印出清样后，派人先送给彭德怀，请他校阅后再正式印发。他却说：“相信中央办公厅，不看了，印发吧。”当年7月，毛泽东在北戴河召开的中央工作会议上指责彭德怀翻案，提出要批判“翻案风、黑暗风、单干风”。9月，在北京召开八届十中全会和随后的国庆13周年活动，就不再通知彭德怀参加了。在全会上，毛泽东明确表示：我对彭德怀这个人比较清楚，不能给以平反。全会还决定成立“彭德怀专案审查委员会”，对他进行全面审查。

       后来，彭德怀专案审查委员会派人去湖南，对1961年彭德怀回乡作农村调查情况作“追踪调查”。原来，彭德怀在湖南调查结束后，湖南省委曾正式书面报告中央，反映彭德怀在湖南期间表现是好的；但这时却又出尔反尔，向中央报告说彭德怀当时有“反党言行”。这次专案调查人员也专门搜集一些反面材料，断章取义，肆意歪曲，编造了一个《关于彭德怀同志1961年回湘潭情况的调查报告》，说彭德怀那次回乡调查是“别有用心”、“满腹牢骚”，散布了一系列“反党言论”。这个《报告》送我印发时，我发现《报告》上把那些随彭德怀去湖南的工作人员名字也写上了。我当即打电话给彭德怀专案审查委员会负责人，说那几个随行人员都是组织上派去做具体工作的，不要把他们的名字写上。这样，避免了一次可能发生的新的株连。

      1965年9月11日，毛泽东要彭真代表中央找彭德怀谈话，说中央决定你去西南工作，任西南三线建设委员会副总指挥。彭德怀表示，我是共产党员，应该服从党的分配，但我犯了错误，说话没有人听，对工业也是外行，还是希望去农村作调查。23日，毛泽东亲自找彭德怀谈话，刘少奇、邓小平、彭真也在座。毛泽东说：“彭德怀去西南，这是党的政策，如有人不同意时，要他同我来谈。我过去反对彭德怀是积极的，现在要支持他也是真心诚意的。”“对老彭的看法应当是一分为二，我自己也是这样。”毛泽东还对彭德怀说：“也许真理在你那边。”

      10月19日，彭德怀来找我，要我帮助他解决去西南赴任的一些具体问题，我当即应允。次日，我派中办警卫局副局长田畴、中办机要室副主任赖奎到彭德怀那里，问他有什么要办的事，要一一帮他办好。11月28日，彭德怀乘火车离京去成都，我的中央办公厅主任一职已被免去，不便以私交关系送他，实属憾事。又岂知，更为遗憾的是，10月19日一面竟成永别!

      杨尚昆和彭德怀友谊深厚，情同手足。1998年初，在撰写纪念周恩来、刘少奇两篇文章的同时，他不顾疲劳，又开始撰写纪念彭德怀百年诞辰的文章。他强调一定要把彭德怀最突出的特点写出来，主要写他时刻以党的利益为重，无私无畏，为党为人民奋斗终生，立下丰功伟绩，最后在蒙冤的逆境之中，革命意志弥坚，是一个真正高尚的人。那年5月，杨尚昆去上海，我随行去上海档案馆查档。这期间，他还召集我们随行人员反复讨论这篇文稿。不料，杨尚昆这次归来后就病倒了，《追念彭大将军》一文是他最后的日子里在病榻上定稿的。