小公爺的初戀是明蘭，他與明蘭彼此相愛，但卻遭到了母親平寧郡主的阻攔。小公爺之所以和嘉成縣主結婚是因為他想保護盛家和齊家的安危，因此背叛了對明蘭的誓言。不過，嘉成縣主最終遭到了榮飛燕哥哥的報復被凌辱至死。
當初，嘉成縣主為了和小公爺結婚，不惜害死了榮飛燕，還綁架了小公爺的父親，逼迫小公爺簽下婚書。其實，這場婚姻原本就是一場錯誤，嘉成縣主囂張跋扈，仗著自己的身份和地位不惜犧牲了很多無辜的人。
小說中，嘉成縣主死后小公爺就迎娶了內閣首輔申大人的孫女，兩人之間的感情還不錯，生了一對雙胞胎，但在齊衡外任時患病去世，雙胞胎也病死了。齊衡算是個比較可憐的人物，不能和相愛的人在一起，好不容易遇到了一個可以傾訴的人結果離開了人世。
后來，小公爺迎娶了慶寧大長公主的嫡孫女，婚后的兩人還有了孩子，可是還不到30歲就去世了。往后的日子里，小公爺再也沒有娶過妻子。