呂良偉最初被內地觀眾熟知是因為那部當年紅遍大江南北的《上海灘》，這部劇捧紅了周潤發趙雅芝等一眾人物，雖然呂良偉在裡面演的丁力不是最重要的角色，但他那帥氣的形象還是被很多人所記得。
呂良偉在情感經歷上也相當豐富，他總共經歷了三段婚姻。
第一任妻子周海媚也是在香港家喻戶曉的明星，憑藉《倚天屠龍記》中飾演“周芷若”，一舉成名，她清純玉女的形象是當時多少男子心中的理想女神，二人的相識還得從拍攝《小島風雲》開始，當時年僅19歲的周海媚讓呂良偉對她一見鍾情，直到這部戲殺青呂良偉才敢表白周海媚，兩年後二人正式成為夫妻。
但這段婚姻在當時並不為人所知，後來周海媚在接受採訪時說道隱瞞婚姻是不想影響自己的事業不想因為結婚而減少觀眾對自己的喜愛，這可能也是二人離婚的原因，二人都以事業為重，而呂良偉的內心還是渴望一個家庭妻子而不是一位當紅明星。
呂良偉的第二任妻子是被稱為最會唱歌的港姐鄺美雲，兩人於1987年合作電視劇《獵鯊行動》相識，但當時都並不是單身，直到兩年之後再一次朋友聚會中二人舊情復燃。但二人交往了四五年之久，呂良偉依舊沒有要結婚的意思，可能是前一段婚姻給他帶來了打擊，無奈之下鄺美雲選擇了逼婚，但荒唐的是呂良偉居然提出了試婚這樣大膽的想法，二人在未領證的情況下還舉行了假婚宴。更是透過電視臺全程直播，但僅僅不到一年這段“婚姻”就宣告結束。
呂良偉的第三段婚姻，相比二者都是娛樂圈的風雲人物就顯得與眾不同，她是商界女強人楊小娟，擁有數10億資產，陪伴著呂良偉走過了事業的低谷期，兩人相守20年之久，相比前兩位轟轟烈烈的幾年可能現在才是呂良偉想要的愛情。
二人育有一子，婚姻生活相當圓滿，而且兩人還熱衷於做公益，呂良偉表示做公益是他的第二事業，並表示自己會一直做下去。如今呂良偉已65歲高齡，但依舊顯得很年輕，可能是擁有一顆良好的心態有關。