胡耀邦是力主废除领导职务终身制并坚决身体力行的。早在1986年，我（胡耀邦的政治秘书、本文作者刘崇文）有一次去中南海勤政殿看望他，他就对我说：“小平同志跟我谈了，明年党的十三大，我不再担任总书记了，小平、陈云、（李）先念等几位老同志也都退下来。”他是将之作为一个好消息告诉我的。在说这些话的时候，他流露出一种高兴的神情，说：“我今年已经71岁，明年就72岁了，从1980年到现在，已经担任了六年总书记，明年十三大一定要退下来。”
　　李汉平（胡耀邦的警卫秘书）曾告诉我，在十二大选举总书记时，胡耀邦把自己的一票投给了别人，他在那时就已经作好了退下来的准备。他还跟汉平说：“到那时，我想找一个靠近农村的中小城市，住到那里去，不再干预中央的工作。”
　　所以，1987年1月，中央在开胡耀邦的“生活会”（对胡的错误进行批评）时，他对自己的去留毫不在意。然而，在开“生活会”之前，胡耀邦则完全被蒙在鼓里。那时每年元旦前，中国桥牌协会都要为中央领导举办一次名为“运筹与健康”的新年桥牌赛。1986年底的那次桥牌赛，邓小平和胡耀邦都参加了。比赛结束后，胡耀邦还兴致勃勃地说：“今年该是我的冠军了！”然而，他压根儿也没想到，没过几天，邓小平就找他谈话，严厉地批评了他，接着中央召开他的“生活会”，最后被免去总书记的职务。
　　事后，胡耀邦对我说：“那时，我既没觉得自己有什么错，又已经决定十三大从总书记的位子上退下来，哪里会想到还有什么问题呢？”
　　胡耀邦还告诉我，后来，杨尚昆到上海征求（李）先念开“生活会”的事，（李）先念对杨尚昆说：“我看耀邦是阳的多，阴的少；‘生活会’我不参加了。”（李）先念说耀邦“阳的多，阴的少”，也有人说他“为人宽厚，吵架不记仇，好共事”。
　　胡耀邦为人宽厚，不会搞权术、耍手腕。长期以来，不少人好心劝他“害人之心不可有，防人之心不可无”。但他却认为，在党内“防人之心也不可有”。当时，邓力群（十三大上当选为中央顾问委员会委员）虽对胡耀邦积怨很深，但他也坦言：“胡耀邦不搞阴谋，光明磊落，观点不同，他就讲出来，讲出来也是指名道姓。”
      1988年11月，邓力群在长沙要求见胡耀邦。虽然在头一年的“生活会”上，他曾罗列了大量的“罪状”系统地批判胡耀邦，但胡还是同他畅谈了两个多钟头。事后，邓力群感慨道：“我没想到他并不介意以前的摩擦。”就在这次见面时，邓力群曾要胡耀邦与他联手反对在他的下台中“起了不好作用的人”，但被胡耀邦拒绝了。可是，当李汉平听说了邓力群的想法后，就不假思索地说：“好呀！咱们也报个仇嘛！”胡耀邦听后，严肃地批评说：“我真没想到，你（李汉平）跟了我这么多年，思想还这么狭隘！”
　　我记得：好像是李瑞环说过，我们要多琢磨事，少琢磨人。胡耀邦听说后，对这句话十分赞赏，因为他自己就是这样做的。1986年10月8日晚，也就是胡耀邦被迫下台前不到两个月，我去勤政殿看他。实际上，当时已经在削弱他的权力了。可他对此毫不介意，平静地对我说：“从现在起到明年，我要集中精力抓好三件事：一个十三大报告，一个班子，一个把精神文明建设抓出点成效来。”不料，他满腔的报国热忱很快就付诸东流了。
      下台前，胡耀邦对干部年轻化和废除终身制很有感触，他曾对我说：“老一辈现在已无能为力了，年纪都大了，力不从心，还得靠70岁以下的。”“年纪太大，既不能控制局势，又不能控制自己。”并且他一再说，领导人退下来后，“要真的什么事都不管就好了”！这既是他对历史经验教训的总结，也是他自己有切肤之痛的感受。
　　我对胡耀邦说：“1956年波匈事件后，少奇同志在党的八届二中全会上就提出过废除终身制的问题。”当时，我还把刘少奇的讲话找出来给他看了，讲话中说：“华盛顿在革命之后，作了八年总统，又退为平民。这件事对我们很有影响。华盛顿作过总统，他也是劳苦功高吧，比我们在座的同志怎么样？这样的办法，我们是不是也可以参考一下，也可以退为平民？资本主义国家中有些人当过部长，当过总理，结果又去当教员、当教授、当律师、当经理、当校长……当然，我们不一定完全照那样办，但恐怕有些东西，资产阶级的有些制度也可以参考。”刘少奇的这次讲话中还说：“毛主席有一次讲过，资产阶级民主，特别是初期，有那么一些办法，比我们现在的办法更进步一些。我们比那个时候不是更进步了，而是更退步了。”
　　当时，我问胡耀邦：“为什么在发达的资本主义国家，总统、总理、部长卸任后可以退为平民，而我们却很难做到呢？”他反问我：“你怎么看？”我说：“无非一不放心，二不放权。”他听后感慨地说：“‘官本位’是封建社会留下的残余影响，所以我们要改革。”
　　1982年中央关于老干部退休离休的决定，是胡耀邦亲自指导起草的。当时，为了顺利推行老干部离退休，他主张给老干部增加荣誉津贴（文件上叫生活补助）。有人不同意给，有的则不同意给那么多。胡耀邦说：“我们这些人实际上有许多补贴，什么伙食补贴，工作误餐，办公用房，出差补助，等等，退休后多数同志有困难。我们不像那些发达国家，现在还是低薪制，多数老干部退休离休后确有困难。任何事情都要注意，思想向先进看齐，但政策要照顾多数。”
　　1987年春节，也就是胡耀邦被免去总书记职务后不久，著名国学大师文怀沙给胡耀邦写了一封信，赠给他一副对联：民望藏饥渴，公行胡滞留。次年，胡耀邦在烟台休养时写了一首古风，要儿子胡德平送给文怀沙，请他指正。对胡耀邦的这首古风，文怀沙虽对其评价甚高，但他觉得还有点拿不准，就去请教钱锺书。不料，钱老却淡淡地说：“既不帮忙，也不帮闲。”胡耀邦得知此事后，不仅不气恼，反而对钱老的为人表示欣赏。
　　胡耀邦的文章、报告和讲话，从来都是由他亲自设计、构思、主持撰写或亲自口授文字措辞，然后亲自修改定稿。他从不照念别人替他写好的稿子，或署名别人代他写好的文章。他最反对说空话、大话、套话，反对党八股、一般化、四平八稳、死板、枯燥。因此，他的文章人们爱看，他的讲话人们爱听。
      胡耀邦曾告诉我，他那篇纪念毛泽东诞辰90周年的文章，（胡）乔木看了后说：这样的文章我写不出来，2000多字，概括了毛（泽东）的一生，没有套话。还有纪念王稼祥的文章，朱仲丽（王稼祥的夫人）看后哭了好几次。他还说，他原来还准备写一篇纪念（任）弼时的文章，可是“下台后试了几次，怎么也写不成了，没有那个气势和高度了，不在总书记那个地位，有些话就写不出来了”。
　　1989年4月15日，胡耀邦突然病逝。在举行追悼会和遗体送八宝山火化的那天，天安门广场和十里长安街两旁，挤满了自发前来的群众，送这位已被免职的中共中央总书记最后一程。