五贤祠在普照寺西北。祠东有投书涧，西有香水峪，溪水环流，山石林立。唐代周朴在此创建栖真观。北宋学者孙复、石介在此建泰山上书院。理学家胡瑗曾访学至 此。明嘉靖年间在此建祠，祀孙、石二先生，题额“仰德堂”，后增祀胡瑗，称三贤祠。至清道光年间徐宗干重修时，又增祀宋焘和赵国麟，遂易名五贤祠。
祠分东、西两院：东为五贤祠，有大门、正殿及东西配殿；西为讲书堂，有正房 和西配房。冯玉祥曾在此攻读《春秋左传》，著《春秋左传札记》。祠于1976年拆除 ，今唯剩残垣卧碣，有清康熙五十一年(1712年)翰林院侍读黄叔琳撰书《重修岱麓三贤祠碑》、民国年间范明枢、邓长耀撰书《泰山五贤祠五贤事迹碑记》，另有“讲书台”、“授经台”、“侍立石”、“能使鲁人皆好学”等明清时题刻。
祠东有巨石如屋，巅平如台，下临深涧。传当年胡瑗千里访学至此，卧石攻读， 十年不归，见家书有“平安”二字，不予展读即弃涧内，故名“投书涧”。明万历六年(1578年)，钦差巡抚赵贤在此题碣“胡安定公投书处”。明代萧协中赞：“野 芸芸绿间黄，当年习静任亡羊。清心不逐家缘扰，涧底犹腾翰墨香。”
溪畔有洗心亭。上有清人贾培荣题联：“真山水不须图画，大圣贤皆自奋兴。” 亭内有金 题联：“云过峰头留墨气，水来祠畔度书声。”额版上有冯玉祥于1932年题刻：“你忘了没有，东三省被日本人侵占了去，有硬骨头的人应当去拼命夺回来。”并刻东北三省的面积和总人口。
祠东南路旁有巨石，似大象卧息，名卧象石，有书刻“弘毅”二字。
