齊衡曾經喜歡過明蘭，明蘭是盛家的六小姐，兩人曾經有過一段戀情，但是因為齊衡母親的阻撓，所以兩人沒有走到一起。明蘭是庶女出身，而齊衡是齊府的二公子，雖然齊衡還愛著明蘭，但他的愛不是唯一的，更沒有將明蘭放在最重要的位置。
后來，他的母親為他準備了兩個老婆人選，一個是富昌伯家的女兒榮飛燕，另一個是六王爺的女兒嘉成縣主。當然，齊衡根本就看不上她們，所以遲遲沒有做決定。齊府可是大戶人家，很多人都想和他們結為親家，六王爺見齊家人的態度不確定，便派人劫走富昌伯家的女兒榮飛燕，使之名譽盡毀懸梁自盡，而嘉成縣主則成為了齊衡的第一任夫人。
原著中，齊衡和嘉成縣主結婚后，兩人的生活也算是過的稱心如意，但事與愿違，榮飛燕過世，富昌伯家的肯定不會善罷甘休，于是富昌伯家為了報復六王爺，便讓小榮妃做了內應，在兵變后，榮飛燕的哥哥帶走嘉成縣主，最后嘉成縣主被凌辱而死。
齊衡不僅家世背景強大，長的也十分帥氣，他之所以能夠吸引這么多女人的喜愛，最重要的還是因為他是一位溫文爾雅，孝順禮讓的好男子。小說中，嘉成縣主死后，齊衡就迎娶了慶寧大長公主的嫡孫女申氏為妻子。可以說，申氏是齊衡三位妻子中出身最高的一位。后來，申氏還為齊衡生下了兩個兒子，不過在生下兩個兒子后就過世了，年齡還不滿三十歲。
不得不說，齊衡的命運有些悲慘，前前后后迎娶了三位妻子，都不幸去世。不過在原著中，齊衡最終子孫滿堂，算不上孤寂，但唯一的遺憾就是沒有迎娶到心愛的人明蘭。