清音阁踞牛心岭下，海拔710米，唐时名牛心寺。现在的牛心寺为后牛心寺，又叫延福院。唐僖宗时，江陵慧通禅师将其改为卧云寺。北宋乾德3年（公元965年），宋太祖赵匡胤召东京（今河南开封）天寿院僧继业三藏等入天竺求舍利以及《贝叶经》，继业一行从印度带回大量经卷、佛骨舍利敬奉朝廷。宋太宗赵光义即命将这些圣物择其名山修持。继业周游了祖国名山大川后，选在峨眉山延福院安身，因相中寺前的黑白二水交汇地，发愿在此新修一座寺院，以供养终身。寺院建成后取名前牛心寺。明洪武2年（公元1369年），安徽风阳凤凰山龙兴寺（朱元璋曾在此出家，后改名皇觉寺）僧人广济禅师来到峨眉山。相传广济和明太祖朱元璋交往甚密，朱元璋称帝后，广济不愿接受朱元璋的宣诏，便入峨眉山禅隐于此。广济禅师根据寺周山水怀抱的天然风貌，又见亭、台、楼、阁与流水潺潺和谐相融，即取晋人左思《招隐诗》中的“何必丝与竹，山水有清音”中的“清音”二字，改寺名“清音阁”。后广济禅师圆寂在后牛心寺。