單田芳出生于一個曲藝世家，外祖父王福義，是闖關東進沈陽最早的竹板書老藝人。他的母親王香桂能說能唱能彈，人稱“白丫頭”，是西河大鼓的佼佼者，聲音清脆、高亢、激昂，不僅掌握了許多傳統段子，還能即興發揮，在華北、東北一帶頗有名氣。從小受到家庭熏陶的單田芳，七八歲即學會了一些傳統書目。到了十三四歲時，已經能記住幾部長篇大書。
之于評書界，單田芳是矚目且獨特的存在，這種獨特性不單單在于他廣為人知的“啞嗓子”，他錄書的數量驚人且佳作不斷，還在于他性格中肯等、耐受的“韌勁”和善于學習、敢于嘗試新事物的商業頭腦。
“凡有井水處，皆聽單田芳”。這句話的意思是說凡是人居住的地方，都在聽單田芳的評書，可見他的受歡迎程度。