然而，山东、河北局势毕竟是很棘手的，仅仅依靠洛阳重镇，远远不能解决问题。如果不慎重处理，就会引起一连串的动荡。
鉴于上述情况，唐太宗及时地选派魏徵宣慰山东。魏徵本来是山东人，周静帝大象二年生于襄国郡巨鹿县。家境孤贫，通晓书术。 “隋乱，诡为道士。”汹涌澎湃的农民起义怒涛，把这位属意纵横之士卷了进去。正如魏徵在《述怀》诗中所说： “中原初逐鹿，投笔事戎轩。”他在李密的瓦岗军里典掌过书记，十次向李密献计，表现了他的“奇谋深策”。
后随李密降唐， “至京师，久不见知，自请安辑山东”,致书徐世劫归附。不久被窦建德河北义军所俘虏，被拜为起居舍人。窦建德失败，魏徵投奔李建成，很受器重，曾提出“结纳山东豪杰”的方针。可见，魏徵和山东、河北地区各种社会势力有着密切的联系。
玄武门之变后一个月，即武德九年七月，唐太宗封魏徵为谏议大夫，“使安辑河北，许以便宜从事”。当魏徵到达磁州时，恰好遇着州县官把前东宫、齐府官属李志安、李思行“锢送诣京师”。原来，建成与元吉的亲信已经逃往河北了。
魏徵跟副使商量说：“东宫、齐府左右，皆令赦原不问。今复送思行，此外谁不自疑?徒遣使往，彼必不信，此乃差之毫厘，失之千里。今若释遣思行，不问其罪，则信义所感，无远不臻”。接着，就自行把恩行等人释放了。这个措施，不仅是体现了唐太宗的宽大政策，有利于消除逃亡者的疑虑，更重要的是使唐太宗在河北地区树立起“信义”来，以争取山东豪杰的广泛支持。所以，唐太宗知道后，十分高兴，对魏徵更加信任。