寺建于唐德宗贞元十九年（公元８０３年）。僧人杜顺在此创立华严宗，其三传弟子深得武则天宠信，被称为“华严宗大师”。四传弟子澄观被尊奉为教授和尚，授“镇国大师”、“僧祖清凉国师”称号，并主持当时全国佛教法事。因此，华严寺是唐代地位相当高的一所名寺。
清乾隆时，少陵原一部分崩塌，寺内殿宇全被摧毁，仅存两座砖塔。东为华严宗初祖杜顺禅师塔，四面７层，高约１３米。西侧为华严宗四祖清凉国师塔，六面５层，高７米。塔前还有清末《重修华严四禅清凉国师塔记》碑。唐宣宗大中六年（公元８５２年）刻的《杜顺禅师碑记》碑，已移至西安碑林保存。
华严寺居高临下，是登高远眺的好地方。站在华严塔前，可俯视樊川，远望终南山的云雾。是一处旅游胜地。
