先秦時期有相、相邦等之名，但跟丞相一職不同，因為出土文物秦國東陵器物上刻有金文：八年相邦薛君、丞相殳。這證明相國與丞相是兩種完全不同的官職，而且是同時並存的，丞相是相邦的副手，相國地位高於丞相。
秦國的第1個相國是樛遊，後來秦武王增設左右丞相作為相邦的副手，此後相國與左右丞相同時並存。秦二世時期，秦朝又增加設置中丞相一職，此時左、中、右這三位丞相同時存在。
漢承秦制，依然設置相國、丞相，同時丞相依然是相國的副手，至漢哀帝元壽二年(公元前1年)改丞相為大司徒，這段時間有300多年，是歷史上丞相這一官職設置最久的時期。
自西漢漢哀帝至東漢漢獻帝建安十三年(208年)這200餘年間不設丞相，建安十三年曹操復設並任丞相，但時間很短。三國和兩晉、南北朝這360多年間，除蜀，吳和東晉初年、北朝較短時間外，不設丞相，隋朝不置丞相，唐宋時期也基本不置丞相。
唐玄宗開元元年(713年)，改尚書左右僕射為左右丞相，南宋乾道八年(1172年)亦改尚書左右僕射為左右丞相，元朝於中書省置丞相。
自秦至明朝初年朱元璋(通過胡惟庸案)廢丞相的1600餘年間，丞相的設置斷斷續續，作為官名的丞相在歷史上存在時間並不長。
