1954年,洪学智出任总后勤部副部长兼参谋长。后又被任命总后勤部部长。他建章立制,调整精简,使得我军后勤编制机构更趋合理。1955年42岁的洪学智被授予中国人民解放军上将军衔。在庐山会议上,洪学智坚决不讲假话,不讲违心的话,一直保持沉默,1959年10月他被免去总后勤部部长的职务,随后离开部队被下放到吉林省农机厅任厅长。