没有想到并州高干先动了。张郃既然打败了高干，那么就先打并州就好了。
曹操立刻亲自带兵进入河内郡。河内郡和颍川郡紧挨着，从许昌到并州最南面的上党高都县不过两三百里，比到邺城都近。曹操选择了乐进为先锋，从怀县越过太行山，进攻天井关。高干的注意力都被壶关的张郃吸引，乐进很轻松的就打下了天井关，然后攻下高都、北上泫氏县，兵锋直指上党郡治的长子县。
长子县内的人很不满高干，举城投降。曹操进驻长子，让乐进攻屯留县，威胁壶关。
壶关的高干发现自己被围攻了，立刻心慌的选择了撤退，向北撤到了铜鞮县，过涅县，返回太原郡。
高干之前一直都在太原郡，所以他第一时间就选择北上逃回太原郡。
曹操和张郃合兵一处，紧跟着高干杀入了太原郡，在祁县停留下来。曹操派出将张郃、乐进派出去攻打晋阳。
高干之前一直在太原作威作福，很多人都很不满，一路都有人投降。于是曹操的军队势如破竹，直接就进攻到了晋阳城下，高干的军队在逃回来的时候就消散了大半。一路上都有人在投降给曹操，高干只剩下七八千人，而且这些人也都不愿意给他卖命。
乐进指挥攻城，很快就攻破了晋阳。高干只好带着心腹部队再一次逃离了晋阳，向西逃去。
高干的威胁已经清除了，曹操就决定返回邺城，留下乐进和张郃清除并州。他返回邺城之后，立刻派出了黑山张燕进军并州，帮助清扫山匪。并州多山，张燕很有山地作战的经验，所以曹操才将他派过去。
张燕的号称黑山贼，不过这个黑山并不是特指某一座山，而是很多常山、赵郡、中山、上党、河内等郡的山的统称。张燕的黑山军就是这些地方的山贼的统称，是他们的联合体。在曹操攻下邺城的时候，张燕就投靠曹操了，被封为平北将军。不过一开始曹操对张燕并不是很信任，让他带兵驻防邺城，这里面有让张郃监视张燕的意思。
经过一年多的观察，曹操才算对张燕有了一定的信任。这和张绣还是有一些关系的，曹操手下属于一方势力的投降者有不少，但是就张绣和张燕最特殊，因为他们投降之前都是诸侯。张绣之前的表现非常好，也给张燕争取了不少印象分。
张燕进入了太原郡，和乐进、张郃一同攻略并州。乐进去追击高干，张郃也向西进攻西河郡，张燕北上雁门郡。
高干一路西逃到了南匈奴王庭，向南匈奴的单于呼厨泉寻求庇护。