葉劍英排除阻力，堅決請鄧小平等老一輩革命家立即出來擔任黨和國家的領導職務。鄧小平剛從解放軍總醫院出來，葉劍英就把他接到西山靠近他的地方來休養。在休養期間，葉劍英每天讓秘書或保密員給他送中央文件看，讓他先瞭解和掌握一些情況。與此同時，葉劍英積極向中央主要領導人建議，讓鄧小平出來參與黨中央的領導工作。他說，小平同志具有治黨治國的經驗，是我們黨內難得的人才，毛主席和周總理曾多次讚揚過他。他還說，黨內軍內多數同志和全國人民都強烈要求鄧小平出來工作，我們應該盡快把他請出來。然而，這第一次的要求竟沒有被同意。
1977年3月，在中央工作會議上，葉劍英又一次提出要求，讓鄧小平出來工作。陳雲和王震同志也提出要求，但這次要求還是沒有得到同意。
這次會議之後，葉劍英繼續做中央主要領導人的工作，恢復鄧小平在黨中央的領導職務。經過葉劍英等老一輩革命家反覆工作，這次得到了同意。鄧小平終於出來重新參加了黨中央的領導工作。在1977年7月16日黨的十屆三中全會上，正式通過了《關於恢復鄧小平同志職務的決議》。大會一致決定，恢復鄧小平中央委員、中央政治局委員、常委、中央副主席、中央軍委副主席、國務院副總理、中國人民解放軍總參謀長的職務。
在恢復鄧小平職務的同時，葉劍英想到了許多被林彪、「四人幫」誣陷和迫害的黨、政、軍領導幹部，還有成千上萬受冤枉的普通幹部和群眾。他認為，凡是過去的案子，不管是在什麼情況下，什麼人、什麼會議定的，只要被歷史證明是錯了的，就一定要實事求是地有錯必糾。在他和中央其他領導同志的努力下，一批中央領導同志，如陳雲、彭真的冤案，薄一波等61人的所謂「叛徒集團案」，楊尚昆、羅瑞卿、胡耀邦、習仲勛等人的冤假錯案陸續得到了平反。接著一批黨政軍領導幹部和一批長期受冤的民主人士、高級知識份子、普通幹部的冤假錯案也陸續得到了糾正。
葉劍英對平反後一些同志的工作、生活十分關心，親自找他們談話，徵求意見，鼓勵他們向前看，繼續為黨和人民做貢獻。1979年薄一波等同志平反出獄後，到西山來看望葉劍英。葉劍英見到他們後第一句話就說：「想不到你們受了這麼多的苦！」當時他心情顯得很沈重。薄一波等老同志，一直很敬佩葉劍英。後來在葉劍英重病期間，他們經常來電話詢問病情，祝願他早日恢復健康。
