五線譜的前身可追溯到中世紀的紐姆記譜法及有量記譜法。紐姆譜以橫線為標準，用符號表示音的高低，但不顯示音值長短。從7世紀起，這種記譜法出現於歐洲天主教堂內，最初只用1根線代表F音高，11世紀經阿雷佐的圭多逐步發展成4根線。規定音高為d、f、a、c，並將f線畫成紅色，c線畫成黃色（後成為五線譜中高音及低音譜號的起源）。13世紀有人使用第5根線，成為五線譜的前身。16世紀又有加線的辦法，使音高的記載更完備。
有量記譜法為十三世紀科隆教士弗蘭科創始。這種記譜法用音符、休止符和記號嚴格規定了音的長短，是對紐姆譜的補充和豐富。在1450年左右，音符是塗以黑色的，稱為有量黑符，以後改用空心音符，稱為有量白符，這種記譜法在西方使用到17世紀左右。
五線譜在前兩者的基礎上出現，到17世紀逐步完善，18世紀開始定型而沿用至今。如小節線原用於文字譜，17世紀末被五線譜所採用；升降記號通用於18世紀，表情記號取有量記譜法。裝飾音記號源於紐姆譜，17世紀系統化用於五線譜。
