关于赵杲观的来历，有这样一个故事。相传春秋时期，赵简子死后，赵襄子继位。当时的代国不仅拥有辽阔的疆域，更有驰名天下的名马，即代马，而马匹是那个年代最重要的军事物资之一。李白在《古风五十九首之六》的《古风·代马不思越》中写道：“代马不思越，越禽不恋燕。”这里的“代马”即指古代国所产的代马。赵襄子见代国土地辽阔，山河秀美，便产生了向北扩张领土的想法。这年秋天，赵襄子率领兵马开赴今代县北山一带，用计杀死了代王并将代国吞并。代王被杀后，代王的妻子也自杀身亡。代国的丞相赵杲连夜护送宫中幸存眷属逃出都城，来到天台山。天台山山势陡峭，重峦叠嶂的绿荫深谷间隐藏着大大小小的天然石洞。赵杲他们便在这里住了下来，躬耕穴居。在隐居天台山期间，赵杲与当地老百姓同甘共苦，并积极创导农具改革，推动了山区农业生产的发展，深受老百姓爱戴。后人感念他的忠义，就将赵杲隐居的地方称为“赵杲观”。北魏太延年间，勤劳淳朴的代州人，手拿铁锤等工具开始凿山、塑像、建观，在天台山建起了巧夺天工的寺庙建筑群，称“天台寺”。人们习惯于旧称，仍将天台寺和其他一些道观统称为“赵杲观”。

　　需要指出的是，史书上虽有赵襄子灭代之事，但史料中却查不到“赵杲”之人。另据《隋书》和《资治通鉴》所记，隋炀帝大业十一年（615）北巡雁北，遇突厥兵突袭，逃入雁门被围，绝望中抱其儿子赵王杨杲而哭。后李渊派兵解围，崇信佛教的炀帝很有可能携子来此山礼佛谢佑驾之功，或许后世以“赵王杲”讹传为“赵杲”，也未可知。

　　赵杲观最独特的建筑是朝圆洞，上下整体共有七层。底部两层基台为青砖砌成的洞窟，上面五层木楼则依山势而逐层缩小。这是清代的砖木建筑，它依崖开凿卯洞，梁架结构与崖石交接构筑，十分精巧。从楼台底部的洞门曲转而入，犹如在井底一般，一条两丈多长的铁链从头顶垂吊下来。攀环而上，爬出洞口，便进入基座二层洞窟，再沿木梯逐层登楼。五层楼斜成宝塔形，层层通上逐渐缩小，依次塑有玉皇大帝等神像。

　　九仙洞在朝圆洞东北侧，洞内塑代王九女像，洞外箭阁塑赵杲像，因距窟顶仅余二指半，故有“赵杲观离天二指半”之说。

　　药王洞在九仙洞北侧，为药王孙思邈修炼之居。有记载称孙思邈曾寓居凤凰观和赵杲观，白天背笥采药亲尝，晚上挑灯刻苦钻研，遂得医道真谛。相传孙思邈在药王洞修道期间，为当地百姓驱治百病，极尽救死扶伤之善事，后世因感念其功德，遂建庙祭祀。庙宇依崖临壑，辟台而建，面阔5间，雕梁画栋，十分壮观。