甘谷东南）人，早年就与同郡的尹奉、赵昂声名在外，一起在凉州担任从事。
官渡战时，杨阜受凉州牧韦端派遣到许昌，颇为曹操赏识，被任命为安定长史。
杨阜回到安定，诸将问他袁绍和曹操谁会胜利，杨阜说：“袁公宽厚但不果断，喜好谋略但缺乏决策，不果断就没有威严，缺乏决策就会误事，虽然势力强大，然终究不会成就大业。曹公有雄才远略，决断应变毫不犹豫，法令统一而军队精良，能使用不循常规的人，所用者皆各尽其力，必定是能成大事的人。”
韦端征召他为太仆。韦端儿子韦康任刺史，征召他为别驾。被举荐为孝廉，在相府供职，任参军从事。
杨阜见曹操兵还长安，即赶往长安对曹操说：“马超有韩信、黥布般的勇猛，极得羌、胡等民族的拥戴，西部边境的人都敬畏他。如丞相大军回师，不作周密准备，陇上诸郡恐怕就不再为国家所有了。”
曹操深表赞同，令杨阜与凉州刺史韦康领兵同守冀城，以防马超。
杨阜领诺，临行请求“长安必留重兵作为后援”。
曹操依言，留夏侯渊、张郃等名将把守要害隘口。
关中既定，又平定了河间叛乱，曹操班师回都。
献帝排銮驾出郭迎接，仿效高祖厚待萧何的故事，诏谕曹操“参拜不名，入朝不趋，剑履上殿”。诏封曹操子曹丕为五官中郎将、副丞相。文武百官俱来恭贺，曹操犒劳三军，赏赐有功将士，设宴同庆平定关中大捷。
席间，随军谋士、将领多有提出此战战略、战术精妙及不解之处。
曹操像历次战后总结经验教训一样，逐一释惑解疑，概述了此战的战略部署及战术精要，当为对众谋士、将领的一次军事教育。
一开始，曹操奏请献帝诏命马腾进京，又迁往邺城为质，是想激怒马超；遣钟繇以征讨汉中为名，用假道伐虢之计，逼反马超、韩遂，得以出师有名；接着重兵进攻潼关，调集关中联军聚集潼关，用声东击西之计，遣徐晃、朱灵乘虚夜渡蒲阪津，深入其后。建甬道，筑冰城，固守不战，示弱以骄其心，使其不备。闻知羌兵增援而喜，是因为关中边远，若各部各依险阻固守，意欲平定，不知几年可成。今皆来聚集一处，其众虽多，人心不一，即用离间计，使其相互猜忌，集中兵力，以迅雷不及掩耳之势，一锅端之，一举歼灭。
众人听了，无不对曹操的谋定后动，动中划策，策中设计，随机应变的战略战术佩服得五体投地。