齊衡的第一任妻子是嘉成縣主，在馬球賽上，嘉成縣主對齊衡一見鐘情，她耍手段嫁給齊衡，可婚后夫妻生活并不幸福，嘉成縣主刁蠻任性，將齊家鬧得雞犬不寧，最后也得到了應有的報應，之后齊衡又娶了晉南申氏嫡女為妻。
婚后夫妻和睦，很快便有了一對兒女，可惜好景不長，母子三人都因感染瘟疫而亡，齊衡的第三任妻子是慶寧大長公主的嫡孫女，也是擁有尊貴身份之人，然而她也沒能陪齊衡走到最后，因病離世。
齊衡最愛的人始終都是明蘭，可惜終其一生，都未能得到心中所愛，當初在盛家讀書時，齊衡就喜歡上了明蘭，雖然明蘭平時為人低調，沉默寡言，但她偶爾所表現出的聰明靈動，深深的吸引著齊衡，可惜明蘭深知自己和齊衡之間的差距，一直躲避他，將齊衡拒于千里之外。
在當時那個年代，只有愛是遠遠不夠的，無論是家世還是品性，齊衡和明蘭之間都有很大的差距，即便他對明蘭一往情深，但明蘭還是選擇了顧廷燁，嫁給顧廷燁后，明蘭才真正過上了自由的日子，不用每日都小心翼翼，謹言慎行。
其實，齊衡并不是明蘭的良配，雖然齊衡對明蘭是真情，但他并不懂明蘭，再加上齊家家世顯赫，平寧郡主根本瞧不起小門小戶出身的明蘭，即便曾答應齊衡去提親，但明蘭如果嫁入齊家，依舊會被平寧郡主百般刁難，所以明蘭的選擇是正確的。