刘少奇十分注意党的廉政建设。据王光美回忆说，全国解放时，刘少奇就极力主张共产党员公开身份，以加强群众对党员的监督，保证执政党不脱离群众。刘少奇认为，过去在根据地、游击区或白区，不脱离群众这个问题解决得比较好，因为脱离群众就不能生存。现在取得了政权，进了大城市，就容易同群众疏远。这个问题必须引起特别注意。他曾说:“我们反对国民党，是因为国民党欺压群众。如果我们执政不代表群众的利益，脱离群众，甚至蜕化到欺压群众的话.那我们和国民党有什么区别?”
　　为了保证党不变质，刘少奇主张首先要加强群众对党的监督。每个党员，包括自己在内，都要受群众、受组织的监督，而且应该欢迎别人监督，作为领导干部，更应该这样。
　　刘少奇对某些人搞特权的行为十分愤怒，他在《如何正确处理人民内部矛盾》中提到：“我参观了一些工厂，厂长、总工程师或者党委书记住的房子是一幢幢的公馆，是新盖的，处长又是一幢房子，科长又是一幢房子，其他干部又是一幢房子，工人宿舍是另外一幢房子。等级分得很清楚，甚至厂长、处长、科长的办公室里面，住的宿舍里面，几个台子、几个沙发、几个凳子都有等级。我看在这个地方是不是开始萌芽了一种等级制度，社会主义之下的等级制度？等级制度是一种封建制度，我们抄袭了封建制度。如果这种制度开始萌芽，我看应该废除。那些生活待遇上要求很高的人我看是危险的。”
　　有一次，刘少奇在某地视察军事设施，当地的同志请他顺路去参观了一座别墅。那座别墅坐落在一处绿树葱郁的山谷里，环境十分幽静，建筑更是豪华，地板也是楠木的，据说这是江青亲自“设计”修建的。刘少奇看后心情沉痛地说：“这样搞，要亡党亡国的啊！”
　　当选为国家主席后，刘少奇的一些亲戚和本家来到北京，试图找他帮忙，解决工作与待遇问题。为了彻底杜绝这种不良现象，1959年国庆节那天，刘少奇召开了家庭会议，语重心长地教导亲戚和子女们:“国家主席也是人民的勤务员。我是国家主席，硬着头皮给你们办这些事，也不是办不成，可是不行啊!我的权力不能乱用，不能拿它为个人谋私利。”刘少奇的教诲使亲戚和孩子们心悦诚服，他们当即表示拥护刘少奇的决定。