就这样，曹操以痛失爱子和爱将为代价，狼狈不堪地逃了出来，带着残兵败将，退到了宛城以东百里之外的舞阴(今河南泌阳县西北)。
张绣也是狠角色，又亲率骑兵追至。这时曹操稍稍稳住了阵脚，便回头迎战，总算把张绣击退了。然而经此一败，曹军已然士气大挫，且各部的秩序都陷入了混乱。这种时候，如果没有临危不乱的将领来断后，那么大撤退就极有可能演变成大溃逃。
所幸，此时负责断后的于禁，有效地约束了部众，才保证了撤退的有序进行。
在撤军路上，于禁碰上了一伙青州兵，居然趁乱打劫自己人。于禁大怒，把他们狠狠收拾了一顿。
青州兵就是此前曹操从黄巾军收编过来的，打仗很猛，但是军纪很差。他们仗着曹操的器重，一向骄横，这回挨了于禁的打，自然不肯善罢甘休，回到大营就跟曹操告了状。
于禁回营后，并没有马上去见曹操，而是命部下抓紧修筑防御工事。左右劝他，说青州兵肯定恶人先告状了，得赶紧去跟曹公解释一下。于禁却不为所动，说：“敌军就在背后，随时会追过来，不先备战，如何迎敌？而且曹公英明，不会听信诬告。”
等到工事修完，于禁才去面见曹操，说了事情经过。曹操十分欣慰，说：“淯水之败，我自己都狼狈不堪，将军却能临危不乱，约束部众，惩治暴行，巩固营垒，有不可撼动之节，就算是古代名将，也不过如此。”旋即依据于禁前后立下的功劳，封他为益寿亭侯。