清音阁原名牛心寺，唐僖宗乾符四年，即公元八七七年，慧通禅师创建。明洪武帝时，广济禅师遁迹于此，取晋人左思《招隐诗》“何必丝与竹，山水有清音”之意，更名清音阁。阁中有大雄宝殿，内供一佛二菩萨，中供释迦牟尼佛祖，两侧为文殊和普贤菩萨。嘉靖年间别传和尚整修桥、阁，清玉哲禅师继修。1924年阁殿毁于火，1928年僧源竺募建于现址。1953年培修，改建三桥二亭和一线天栈道。1992年，新建阁楼一座。寺前有双飞亭，亦称接引亭、接御亭。下有琉璃亭，亭下北侧有1990年8月建日中诗碑亭，亦称良宽诗碑亭。附近曾有白衣观音楼（亦称白衣阁）。清音阁下虎溪河畔。

　　清音阁从风景的幽静，山水奇构角度来看，是改得极为雅贴的。民国八年（1919）烧毁后，仅修复一殿。1959年国家列为重点修建以来，有关部门又不断整饰，改善。在清音阁下虎溪河畔，1990年新建有良宽诗碑亭。