鲜卑人有遇重大事情杀白马歃血盟誓的习俗。北魏迁都洛阳时，在平阳城东北处汾河东岸修建了白马城。北人惧水，忧水患，因此在建白马城时，选取地势较高之处，最低处也高于汾河水面近十丈。后来随着民族的融合，尽管两处分别保留着自己的名称，但在唐朝统称晋州。

　　唐贞观二十三年八月初一（公元649年9月12日），一场7.5级大地震使两座城池毁于一旦。大地震之后，晋州和平阳府合并，废弃平阳古城，占据白马城位置，形成今天临汾的雏形。

　　临汾城东踞虎山，西盘姑射，汾流一线，绵亘南北，形如卧牛，故名“卧牛城”；一说古时临汾城里卧着一头金牛，时常晚上出来，给穷苦农民耕地，于是把临汾城叫成了“卧牛城”；还有一说，民谣唱道：“棒子须，西葫芦，卧牛城下卧牛出。”

　　传说临汾城下埋有卧牛，《临汾县志》中有“临汾城墙雉堞内则土壅卧牛”的记载。1977年10月，临汾一职工在建房时挖出了一头铁牛。铁牛身长43厘米，角高30厘米，座长44厘米、宽31厘米，为该铁牛于后梁开平二年（908）九月晋州刺史徐怀玉、明洪武六年（1373）平阳卫指挥使胡渊之后，第三次与世人见面。

　　同时出土的还有徐怀玉为卧牛所做的一块碑刻：“开平二年九月一日，番贼六万余人入界，至五日齐到城下。战后诸军兴工修城，二十八日于城墙东北隅发现铁牛一尊，铁身铁座，时以为祥，因置石函贮之，瘗于故处。”