從1959年到1968年呂樂的父母就在香港購入了300多萬的物業。呂樂本人也非常的豪氣，只要喜歡的物業就會一口氣在這個物業購買好幾個單位或者幾層樓，甚至還曾經買下整棟大廈，比如說簫箕灣道229號便是其中之一。
1968年48歲的呂樂卸下自己的職務，靠著名下眾多的不動產收房租過日子，那生活可謂是逍遙自在。但是有一句話說得好，天網恢恢疏而不漏，在1974年的時候，香港廉政公署把呂樂當做頭號調查的目標。聽到風聲的呂樂便帶著8名子女和妻子，離開香港移居加拿大，1979年有帶著子女及其妻子定居臺灣。因為臺灣和香港當時并沒有引渡條例，因此香港廉政公署也無法到臺灣把他緝拿歸案，不過針對他的通緝令至今都沒有撤回，依然有效。
現在呂樂生活在臺灣的親人只剩下妻子和小女兒，其余7個兒子都留在了加拿大。法律雖然最終沒有對呂樂制裁成功，但是病魔還是拿走了他的性命，2010年的時候，被通緝34年之久的呂樂最終敵不過病魔，離開了人世。