晋阳城位于汾水的西面，卡在天龙山与汾河之间的要道上。春秋末年，晋国上卿赵殃家臣董安于在军事地理位置十分优越的汾河西岸，构筑坚城，赵氏正是凭借关这座高大坚固的晋阳孤城，先后挫败范氏、中行氏和知氏、韩氏、魏氏的两次大规模的联合进攻，最终反败为胜，转危为安，其势力形成了后来的赵国，奠定了与韩、魏“三分晋室”的基础。
晋阳城屹立了一千五百余年，自其建成之后，就堵住了北方草原民族从河东南下侵掠的必经之路。除了中原内乱，这座北方的坚城从来都没有被从雁门关南下的草原民族攻破过，所以河东之地，很少受到战乱波及，人口密度一直在国内保持在前列。隋末唐国公李渊从晋阳起兵，最终建立大唐帝国，晋阳成为唐王朝有发祥之地。
唐代晋阳城几经扩建，并被封为北都，与京都长安、东都洛阳并称为三京，在唐朝时期晋阳的人口就达到了五十万之众，在国内属于仅次于长安的“一线城市”。受唐末战乱的影响，晋阳城目前拥有人口大约有二十万左右，却是居于国内之冠。
所以当年晋王李克用在丢掉了半个河东后，仍然能够凭借着太原盆地和忻代、云州三地，维持一定的兵马数量，与强大的梁国相抗，成为反梁势力中最为主要的一支力量。
实际上现在的晋阳城，并不是过去春秋时代赵国上卿董安于所建的晋阳古城，而主要是兴建于北魏和北齐时期，又经隋、唐两朝几经扩建而成。
北魏时期，权臣高欢在晋阳城外设“大丞相府”，大兴土木，于城西天龙山开凿石窟，并营造了规模宏大的避暑行宫。其后，高欢之子高洋取代北魏建立北齐，继续在高欢所建的晋阳行宫基础上进行大规模的扩建，北齐历时27年间，修建起了辉煌的晋阳大明宫。
其后，隋炀帝杨广又在这里大兴土木，继续扩大晋阳皇宫的规模，在北齐大明宫外筑成周长七里，高逾四丈的“新城”，其后又在新城西边筑起高四丈，周长8里的仓城。此外，隋炀帝在第一次北巡回到晋阳后还曾下诏重建北齐大明宫。并设晋阳宫监管理，有正监、副监各1名。
正因为晋阳城拥有如此宏大的规模，城墙高大坚固，在隋末唐初，突厥颉利可汗曾率二十万大军从雁门南下，然而围晋阳城将近一年不克，最终无奈退兵北返。
唐代贞观年间，并州长史李绩在汾河东岸新建了南北约八里半，东西约五、六里的东城，因为东城井水苦咸难饮，又建设了名为“晋渠”的横跨汾河直通东城的引水渠，从晋祠送去