Ngôi chùa có tên là “Thiên Khổng Thạch Tự” (Chùa hang đá trời sinh) nhưng do không có sư trụ trì nên người dân địa phương goi là “chùa không sư”. Ông An, người ngày ngày hương khói, quét dọn chùa, cho biết: “Nhiều nhà sư đến với chùa nhưng chỉ ở thời gian ngắn rồi ra đi, không hiểu vì sao”. Hiện chùa được một nhóm tăng ni, phật tử trong huyện đảo Lý Sơn thay nhau trông nom, quét dọn và hương khói. Chùa được xếp hạng thắng cảnh quốc gia từ năm 1994.

Chùa không sư vốn là một hang đá lớn nằm trong lòng núi Thới Lới, hình thành từ nham thạch của núi lửa thời tiền sử, hướng ra biển Đông. Ông Trần Công Bạch cùng các bậc tiền hiền làng An Hải lập chùa cách đây hơn 400 năm dưới triều vua Lê Kính Tông.

Hang dài 24 m, trần hang cao 3,2 m, diện tích chừng 480 m². Ngay trước chùa có hồ sen hình bán nguyệt, những cây bàng biển cổ thụ hàng trăm năm tuổi, có hình thù kỳ quái và tượng Phật bà Quán Thế Âm hướng ra biển Đông phù hộ cho chuyến đi biển của ngư dân đảo luôn bình yên trở về. Phía xa xa là các mỏm đá nhô ra, bãi cát trắng sạch lấp lánh vỏ sò, vỏ ốc.