三國演義中張樑與其兄張角、張寶發動黃巾之亂，與其兄張寶圍困皇甫嵩、朱儁遭二人火攻失敗。敗走時遭遇曹操攻擊死戰得脱，投奔張角。
後來張角身亡，張樑以王者衣冠安葬，在與官軍交戰時為皇甫嵩所殺。
皇甫嵩出身於將門世家，最初被舉為孝廉、茂才。漢靈帝時被徵為侍郎，遷北地太守。黃巾起義爆發後，與宦官呂強上疏請求解除黨禁，被授為左中郎將，率兵討平黃巾之亂，“威震天下”。戰後升任左車騎將軍，領冀州牧，封槐裏侯。
到任後，他奏請減免冀州百姓一年的租税。後因得罪權宦趙忠、張讓而被罷免，改封都鄉侯。中平五年（188年），被起用為左將軍，擊破王國叛軍。
董卓掌權時，皇甫嵩遭到陷害，經其子皇甫堅壽求情，才得以保全性命。董卓被誅後，出任徵西將軍，誅滅其宗族。晚年曆任車騎將軍、太尉、光祿大夫、太常等職。
皇甫嵩平黃巾之亂居功至偉。他先以火計在長社大破黃巾波才部，斬殺數萬人，趁勢與朱儁平定汝南、陳國等地，並在蒼亭擊敗黃巾卜已部。隨後他受命接替盧植圍攻廣宗，閉營示弱，趁黃巾首領張樑放鬆警惕後，攻克該城，殺死張樑，使黃巾軍受到沉重打擊。
廣宗陷落後，他又麾兵攻克下曲陽，殺死張角弟張寶，俘殺十餘萬人。至此，黃巾主力被消滅殆盡。中平五年（188年），皇甫嵩又奉命解陳倉（今陝西寶雞東）之圍。他以疲兵之計靜待圍城的涼州王國叛軍睏乏不堪。
待王國於次年（189年）主動撤圍時，皇甫嵩果斷率軍出擊，連戰連捷，斬殺叛軍一萬多人。東漢靈帝時期，朝廷腐敗、宦官外戚爭鬥不止，全國大旱，百姓沒有活路。鉅鹿人張角利用太平道組織民眾，發動起義，起義者頭綁黃巾，被稱為黃巾軍。張角兄弟此前四處傳道，一個月內，全國七州二十八郡都有黃巾軍起義。
各地起義隊伍很多，人數達到百萬之眾。漢靈帝任命外戚何進為大將軍，委派盧植、皇甫嵩、朱儁等將領討伐黃巾軍。此外，董卓、孫堅、曹操、劉備等羣雄都參與了討伐黃巾軍。平定黃巾軍戰爭被鎮壓，首當其功是名將皇甫嵩。
皇甫嵩出身將門世家，曾祖父皇甫稜，曾任度遼將軍；祖父皇甫旗，任扶風都尉；叔叔皇甫規是東漢名將、涼州三明之一，父親皇甫節曾任雁門郡太守，久為邊將。184年4月，潁川波才領導的黃巾軍大敗朱儁，乘勝進圍皇甫嵩於長社(今河南長葛東北)。義軍聲勢浩大，守城官軍僅數千人，不敢出戰。
波才率軍數次進攻未克。時當仲夏，義軍缺乏戰鬥經驗，依草結營。皇甫嵩抓住戰機，利用月黑風高的夜色掩護，令兵士潛入義軍之後，縱火燒營。
皇甫嵩趁勢鼓譟出擊，義軍大亂敗退。途中又被前來增援的騎都尉曹操軍堵截，皇甫嵩、朱儁、曹操三路合軍，乘勝追擊，數萬黃巾軍戰死。184年6月，董卓在下曲陽(今河北晉縣西北)被張角擊敗。8月底，皇甫嵩代董卓率軍繼續圍攻黃巾軍。
張角病死，張樑繼續率軍與皇甫嵩激戰。作戰持續到十月，黃巾軍戒備鬆懈。皇甫嵩乘機夜襲，黃巾軍倉猝應戰，張樑戰死，3萬人被殺，5萬餘人跳河而死。
此戰，皇甫嵩一舉殲滅河北黃巾主力。184年11月，皇甫嵩與鉅鹿(今河北寧晉西南)太守郭典合兵乘勝進逼黃巾軍張寶部駐守的下曲陽。兩軍激戰多日，義軍連連失利，張寶戰死，被斬殺、生俘者10萬餘人。皇甫嵩收集義軍將士屍首，築“京觀”於城南，以顯示其戰功。
皇甫嵩接連殺死黃巾軍首領張樑和張寶，黃巾起義宣告失敗。後期挾持天子的董卓，在黃巾起義中連吃敗仗。孫堅、曹操、劉備等三國英雄，也都僅僅起到配角作用。
皇甫嵩無愧為三國初期第一名將。
