香山由东、西、中三个石峰相连而成。三峰突兀，依此排列，形似一座笔架，横置太空，故又名三石山或笔架山，清代改名香山。香山山势挺拔峭峻，古柏苍翠成林，殿宇巍峨古朴。三峰之外群山环抱，如拱北辰，到处呈现出一派重绿叠翠的美景，令人神清气爽。

香山是我国八大佛教圣地之一，相传妙善公主于此修身成佛（即观音菩萨）。香山中峰半山腰有一天然石穴，人称崎峰洞，即香山正洞，其中供奉着“千手千眼菩萨”，亦称香山菩萨。据《大香山志》载传说：香山寺为妙善王之三女妙善公主修行之地。昔日妙善公主因婚姻不满而出家，开始在四川遂宁白雀寺，庄王曾屋诏不归，后有火烧白雀寺的传说。以后庄王染疾求医处方要亲人手眼，公主遂舍自己的手眼，疗愈庄王疾病，故敕封公主为“千手千眼活菩萨”，为佛教礼拜之中心。香山创建寺院始于公元4世纪，曾迎龟兹高僧鸠摩罗什翻译梵经于此。宋代修中峰崎峰洞，建圣果院、白雀寺。清代光绪年间修建各类楼殿亭阁90余间。

香山庙会会期为每年农历三月十五前后十天与十月十五日两次，香火隆盛，登山拜佛者云集此处。年年都有海外僧侣来香山进行佛事活动。海内外游客10余万人次来此游览、朝圣。而庙会期间山野景色或春色宜人，独有芳菲：或满眼醉红，秋高气爽，令香客和游人游兴盎然。香山正沟内每逢四月花开之时，有成千上万的蝴蝶翩飞嬉戏，成为一大奇观。