吳用等人逼迫盧俊義上梁山是因為在宋江接管梁山后，向曾頭市發起了進攻，無奈曾頭市將領史文恭過于勇猛，梁山眾人無可奈何。吳用在這時向宋江推薦了盧俊義，后來在吳用的設計下，盧俊義在自家的墻上寫下了反詩。隨后被官府捉拿，因此梁山出動了大部分人，經歷一番周折后成功救出盧俊義。此時的盧俊義想感謝梁山好漢的深重義氣，便歸順了宋江上了梁山。
盧俊義上梁山后立馬立下了一個大功，輕易活捉了本領高強的史文恭，由此成為了梁山上的二把手。后來宋江帶領梁山好漢歸順朝廷后，盧俊義還征討了遼國、王慶、田虎、方臘，被封為武功大夫、盧州安撫使。最后蔡京等奸臣傳召盧俊義回京，偷偷地把水銀放在皇帝賜給他的飯菜中，導致回廬州的途中在船上吐血落水溺死。
盧俊義還被人稱為“玉麒麟”，這是因為盧俊義出身在富商之家，但卻有一身的好武藝，槍、棒、拳更是用得出神入化，這在當時的封建社會是非常少見的。而麒麟代表著祥瑞，盧俊義相貌儀表堂堂，目光炯炯有神，身高九尺如銀，所以被世人稱為“玉麒麟”。