与此同时,另一路伪齐军向宋军刘光世部的防区发动进攻,刘光世是贪生怕死之辈,得到金军来犯的消息后竟然率军逃跑,皇帝得知此事后非常生气,发出命令:接旨后应立即返回驻防地,抗击伪齐军,违者军前正法。刘光世接到命令后不敢怠慢,赶紧擂鼓聚将,他对军官们说:“各位同僚,现在圣上已经发来严令,命令我们回到驻地,否则就地正法,所以我们不能再撤退了,必须赶回驻地,准备战斗。”其他人也知道别无选择,表示同意。

    为了保住性命,刘光世率领部队急行军两天,狂奔百余里,赶回驻地,击退了伪齐军。但他也知道自己能力有限且年事已高,上奏折自请解除兵权,告老还乡。皇帝接到刘光世请求退休的奏折后,召集大臣们商议此事,宰相赵鼎建议:“陛下,刘光世年事已高且贪生怕死,常言道兵熊熊一个,将熊熊一窝,他的部队战斗力低下,战斗意志薄弱。您应该批准刘光世退休,另派精明能干之人接管他的部队,把他们训练成精兵。”宋钦宗说:“爱卿言之有理,依你之见该派谁接管刘光世的部队?”赵鼎沉思片刻后回答:“岳飞可担此任。”宋钦宗同意了赵鼎的建议,下令批准刘光世退休,同时命令岳飞准备接管刘光世的部队。

    次日张浚来见皇帝,他对皇帝说:“陛下,您让岳飞接管刘光世的部队是错误的,这样很危险。”皇帝问道:“张爱卿何出此言?”张浚说:“陛下,现在有六镇节度使,他们的兵力旗鼓相当,可以互相制衡,如果岳飞收编了刘光世的部队,这种局面就被打破了,万一岳飞一家独大之后,图谋不轨怎么办?陛下对于武将既得用也得防啊!”皇帝问道:“依你之见,该当如何?”张浚说:“陛下,应该派一个兵部官员去统领刘光世的部队使其继续保持独立,以防武将中有人一家独大。”