山号の岩谷山より、岩谷観音と呼ばれている。
仙禅寺は養老七年（７２３年）に創建され、山城鷲峰山寺の別院として僧房５宇を有して栄えたといわれる。暦応（南北朝時代）、文明（戦国時代）２回の兵火に遇い焼失し、その後岩上に小堂を構え、本尊十一面観音秘仏を安置している。観音堂の床下の３�bあまりの巨岩には、三尊形式の磨崖仏が浮彫りにされており、中央に高さ８０�aの薬師如来座像が彫られ、左の脇像の下に「建長元年、巳酉十一月八日大施主…」と陰刻されている。鎌倉時代のものとしては、我国で二番目に古いものといわれる。
境内には、「朝宮茶発祥地」の碑がある。