秦始皇統一天下後，曾出現過應否置郡的爭論。當時不少大臣，認為原楚國、燕國、齊國等地的領土都遠離秦國，主張實行分封，但李斯認為分封制是周朝諸侯混戰的根源，他力排眾議，建議實行郡縣制，並得到秦始皇的採納。
郡縣制起源於秦朝。郡和縣在春秋時期，分別是兩個不同的行政區劃，秦始皇統一天下前，縣大於郡，千里百縣，縣有四郡，因此之前的地方行政制度為“縣郡制”。
在郡縣制底下，秦朝共設三十六郡，郡下轄縣；郡與縣，由皇帝直接任命，秦代至此成為為中國歷史上，最早在全境推行“郡縣制”的朝代，至漢代仍承襲這個制度，形成州郡縣三級行政管理，自此成為日後各朝地方政制的基礎，直到唐朝，才被道路制所取代。
