方世玉的出名源于一部小說《乾隆下江南》，此小說又名《萬年青》。該書提到方世玉的父親方德是個綢布生意人，母親苗翠花是“少林五祖”苗顯之女。方世玉因失手打死武當派李巴山的女婿雷老虎，而引起武當、南少林兩大幫派的火拼。后武當派利用清兵將南少林徹底剿滅。
而傳說詠春拳為嚴三娘所創，這嚴三娘的師傅正是五枚師太。五枚師太與至善禪師、白眉道長、馮道德、苗顯五人被稱為“少林五祖”。其中的苗顯正是方世玉的外祖父。作為“少林五祖”之一的五枚師太在一開始還幫方世玉打死李巴山，后來不知怎么的突然轉向了武當派，甚至還親手把方世玉弄死了，這也是這本書的前后矛盾之處。
有讀者猜測應該是作者在寫作或是出版這本書時，怕惹禍上身才做了改動。畢竟清朝有“文字獄”，而“文字獄”在乾隆時期更是達到了頂峰，所以作者做了改動，將方世玉等人改成反面人物，就是為了要討好清廷，為了不惹禍上身。不過這都只是讀者的猜測而已，真實的原因估計很難被世人知道。