呼延灼在上梁山之前是朝廷的官員，他在朝廷擔任汝寧郡都統制一職。雖然職位不高，但也握有一定的兵權。當時梁山好漢越聚越多，梁山軍隊氣焰越來越高漲，成功攻下了高唐州。朝廷內外很是恐慌，皇上催促滿朝文武大臣趕快尋找能前去應戰之人。
這時高俅向朝廷推薦了呼延灼。從這一點上來看，高俅其實是呼延灼的伯樂。皇上聽從了高俅的建議，召見了呼延灼，打量了一番后發現此人果然相貌不凡，便賜給了他一匹好馬，即“踢雪烏騅”。
之后他便帶領軍隊前去與梁山軍隊交鋒。他在陸地上設了“連環馬”陣，又安排了“轟天雷”凌振在空中助陣。本以為萬無一失，但先后被徐寧、宋江、晁蓋等人找到了薄弱之處，因此戰敗。
之后他逃往青州，投奔青州知府。正當他準備卷土重來之際，宋江等人又設計偷走了他的寶馬。要知道這可是皇上賜給他的，丟了寶馬，他就算活著逃回去也要掉腦袋。所以在當時那樣無奈的形勢下，他只好投靠了梁山。后來在歸順朝廷之后，他被封為御營兵馬指揮使。