东汉以洛阳为国都，晋阳城成为中原之北门，并州之根本。东汉时，匈奴、乌桓、鲜卑频频南下侵扰，并州北部几无宁岁，东汉光武帝建武十四年（39），为了防御匈奴、乌桓的南下，从太原到井陉，“皆筑保壁，起烽燧，十里一候”。为了减少内地转运军粮之烦，东汉时曾在晋阳屯田。晋阳城是东汉王朝防御匈奴、乌桓南下的战略重镇。

　　东汉末年，时局动荡，豪杰并起，作为军事重镇的晋阳城，又一次被推到群雄争霸和民族融合的风口浪尖。董卓死后，袁绍和曹操为了称雄中原，对晋阳城展开争夺。曹操最终赶走了盘踞晋阳城多年的并州刺史高干，结束了董卓之后丁原、高干等人对晋阳的统治，为最后统一北方奠定了基础。

　　公元206年，曹操任命梁习到晋阳担任并州刺史，当时晋阳一带的情形是大量的匈奴人入居晋阳，并且经常骚扰汉族百姓，而一些图谋不轨的汉人又加入匈奴的部落，联手滋事。梁习采取了分化瓦解的办法，把大量的汉人招入军中，将其家属移民到河北，对少数抗命者进行镇压。没有了汉人中亡命之徒的支持，匈奴也不敢再飞扬跋扈了。晋阳一带的匈奴人已经汉化，要和在册的汉人一样负担赋税、劳役。汉献帝建安二十一年（216），为了防止南匈奴的势力危及中原政权，曹操把南匈奴近20万人分为五部，安置在并州中西部。

　　西晋初年，又有大批匈奴部落内迁，这些内迁匈奴的分布地，仍主要集中在并州诸郡，故史书上称他们为“并州之胡”。西晋永兴元年（304），南匈奴贵族刘渊在左国城（今方山县南村）起兵反晋，自称汉王。西晋永嘉三年（309），刘渊迁都平阳。当时，并州诸郡除晋阳附近外，大都处在刘渊的统治之下。西晋光熙元年（306），刘琨被西晋朝廷任命为并州刺史，驻守晋阳，想通过晋阳的军事力量来牵制匈奴的刘汉政权，减轻这些“并州之胡”对洛阳的压力。西晋永嘉四年（310），匈奴的刘汉政权任命羯族人石勒为并州刺史，和刘琨争夺晋阳城的控制权。这年十月，匈奴军队进攻洛阳，西晋士族纷纷南渡，避乱江东。当时在淮河以北，只有刘琨仍以并州刺史的身份坚守晋阳孤城。

　　西晋建兴四年（316），刘琨在和石勒的战争中失败，退出了晋阳城，标志着汉族的官方军事力量退出了北方，游牧民族开始了对北方地区长达270多年的统治。

　　在南匈奴的刘汉政权之后，北魏太延五年（439）统一北方之前，中国北部先后由羯、鲜卑、氐、羌等少数民族创建了十几个政权，其中以后赵、前燕、前秦、后燕等政权占地广、影响大。东晋太和五年（370），前秦派大将王猛率大军征伐前燕，王猛先派兵攻克兵多粮足的晋阳城，然后东下太行攻取邺城。东晋太元二十一年（396）五月，后燕皇帝任命辽西王慕容农为都督六州军事、并州牧，镇守晋阳。九月，北魏皇帝拓跋珪率40万大军南下，直取晋阳。十月，拓跋珪又率大军从晋阳东出井陉，失去屏障的后燕很快就退出河北平原。

　　北魏正光四年（524），契胡贵族尔朱荣因镇压六镇起义有功，被封为平北将军，占据晋阳城，势力不断扩大，成为北魏最重要的一支军事力量。北魏永安元年（528）二月，宫廷内乱，尔朱荣从晋阳出兵，直下洛阳，杀死了胡太后及北魏宗室公卿两千人，史称“河阴之变”。之后尔朱荣立元子攸为帝，即孝庄帝。尔朱荣被封为柱国大将军、太原王。返回晋阳的尔朱荣位高权重，遥控洛阳。尔朱荣曾多次建议把都城迁往晋阳，引起孝庄帝强烈不满。北魏永安三年 （530）八月，尔朱荣被孝庄帝诱杀于洛阳。不久，尔朱荣的侄子尔朱兆率军攻入洛阳，把孝庄帝抓到晋阳杀死。北魏永熙元年（532）七月，尔朱荣的旧部高欢率兵攻打晋阳，尔朱兆抵挡不住，放弃晋阳北逃。高欢进驻晋阳，认为这里四面屏障，有天险之胜，便在晋阳建大丞相府，高欢以晋阳为大本营，对洛阳实施遥控。高欢为了便于控制北魏朝政，以洛阳久经丧乱为由，极力主张孝武帝迁都邺城。孝武帝十分不满，下诏北伐高欢。高欢从晋阳率大军南下，直指洛阳，高欢还把自己南征洛阳和当年赵简子起兵晋阳相提并论。孝武帝率部分人马逃往长安，高欢在洛阳另立皇帝建立东魏。孝武帝西迁长安之后，高欢加快了迁都的节奏，理由是：洛阳距离晋阳太远了，形势上不能相接。把都城定在何处，要以晋阳城为出发点。新皇帝即位刚三天，高欢便下令迁都，40多万户洛阳居民手忙脚乱地被迁到了邺城。高欢处理完迁都事宜，却直接北上回了晋阳城。从此，东魏的军国政务，皆听命于晋阳城中的高欢。从东魏天平元年（534）开始，晋阳城成为东魏实际上的首都，而邺城是名义上的首都。

　　天保元年（550），高欢的儿子高洋称帝，建立北齐，高洋在诏书中说太原是“霸业所在，王命是基”。高洋称帝后在邺城住了几个月，便让太子在邺城监国，自己回晋阳去了。北齐的六个皇帝中，高殷、高演、高湛、高纬四个皇帝都在晋阳即位。从公元534年高欢坐镇晋阳掌控东魏军政大权开始，到公元576年北齐灭亡，40多年间，晋阳城是中国北部的政治、军事中心。高欢家族牢牢掌控着晋阳城，是因为这里既是防御北方势力的屏障，又是南下争雄的战略重镇。