宋初，三師三公只是作為升遷資序所用，並無執掌。太尉舊在太保之下，自五代以來則提升至次於太師而在太傅之上。徽宗年間重定武官制度後，太尉成為武階官之首，而司徒司空則被三少所代替。
另外，在某些禮儀中會出現以其他官員臨時充當太尉等職位的現象。如宋真宗天禧元年宣讀天書之禮，分別以向敏中攝太尉，王曾攝司徒，張知白攝司空。諸如此類都是禮畢即罷，並非真行除拜。
太尉始於秦朝時期。秦王嬴政登基後，改設三公九卿。三公即為丞相、御史大夫、及太尉，分別為輔政，監察及治軍領兵。但秦朝並沒有設置太尉的具體人選，也就是形同虛設。原因在於秦當時為中央集權制，軍政經合為始皇帝一體，所以若將兵權拱手送於他人之手，秦王政的統治會受到嚴重威脅。
到西漢時期中央和地方各級官吏的名稱基本沿用了秦朝的制度。但與秦朝不同的是，在皇帝之下設立了三套平行的官僚體系，分別為丞相率領的外朝官、大將軍率領的內朝官、以及處理皇帝與皇族私人事務的宮廷官。
其中外朝官為西漢中央政府的最高行政權力由丞相、太尉、御史大夫三人分掌，其下分設九卿、列卿等。但由於官制名目甚多也有一定的分權目的，所以太尉的實權性時時不定。
