华严寺由初建到以后数百年间，无高大殿堂建筑的记载，而只记有凿原为窟，以安置佛像及僧众居住，华严寺可以说是黄土高原上一座典型的窟洞寺院。从塔的记载看，这里曾有华严宗初祖杜顺坐定身骨的墓塔、二祖智俨塔、三祖贤首塔、四祖澄观塔。1930年陕西大旱，朱子桥居士来陕西赈灾，与佛教界人士瞻礼华严寺塔时，见到元代重修碑内有“修塔即降甘露”的文句，便于塔前发愿“重修两塔，祝愿普雨”。不日即天降大雨，朱子桥遂与佛教界人士动工修塔。
华严寺现存的两座塔中，东边的是杜顺的灵骨塔。杜顺虽是禅师，但又以华严为业，住静终南山，为华严宗初祖。杜顺圆寂时，有两只鸟飞入房中，悲鸣哀切。杜顺尸身一个月后仍肉色不变，一直有异香飘出，后起塔藏葬。现存的杜顺塔呈方形角锥体，共7层，高约21米，为仿木结构楼阁式砖塔。每层叠涩出檐，檐下均砌两层菱角牙子，塔身壁面用砖砌成扁柱、栏额、斗拱、昂等，第三层嵌有“无垢净光宝塔”刻石。
原西边的塔是华严宗四祖清凉国师澄观的灵骨塔。澄观(737——838年)，俗姓夏侯，越州山阴(今浙江绍兴)人，是华严宗实际创始人法藏圆寂后数十年，中兴华严宗的著名思想家和学者。澄观多次奉敕译经撰疏、入殿讲经，深得皇室尊崇，被委任为天下大僧录主持全国佛教。澄观世寿一百零三岁圆寂，历唐玄宗至文宗九朝。澄观弟子很多，圭峰宗密、东都僧睿、海外法宝及寂光号为门下四哲;宗密不仅继承其学说，而且发扬光大，被称为华严五祖。其思想对中唐以后的中国佛教有很大的影响。