“Keşikçidağ” Dövlət Tarix-Mədəniyyət Qoruğu Ağstafa rayonunun mərkəzindən 75 kilometr məsafədə, Böyük-Kəsik kəndindən 28 kilometr aralıda yerləşir. Qoruq Gürcüstanla sərhəd boyunca 25 kilometrədək uzanır. Mağaralar kompleksi ucsuz-bucaqsız Ceyrançölündə, Qatardağ silsiləsində, Candar gölündən 15 km şimali-şərq istiqamətində, dəniz səviyyəsindən 750-950 metr hündürlükdə dağların cənub və cənubi-şərq tərəfindəki sıldırım qayalıqlarda yerləşir. Qoruğun ərazisində 70-dək mağara, ilkin orta əsrlərə aid bir qala, bir məbəd və bir inanc yeri var.
Yerli əhali bütpərəstlər – aya, günəşə tapınanlar dini baxışlarını hifz etmək, hücumlardan qorunmaq üçün bu dağlara çəkilib həyat sürmüşlər. Daha sonra atəşpərəstlər dini etiqadlarını davam etdirməkdən ötrü tərki-dünya olub, qayalarda çapıb düzəltdikləri mağara-sığınacaqlarda yaşamışlar. Buradakı təbii mağaraların 2 min il yaşı var. Bu ərazilərdə yerləşən süni mağaraların yaranması isə VIII-XV əsrlərə təsadüf edir. Onların əksəriyyəti sıldırım qumsal qayaları yarıb çapma və yaxud yonma üsulu ilə yaradılıb. Bu yerlərin təbii şəraiti asketik həyat tərzi üçün yararlı olduğundan eramızın ilk əsrlərində Yaxın Şərqdən Qafqaz Albaniyasına gəlmiş rahiblər bu mağaralarda məskunlaşmışlar. Qafqaz Albaniyasında IV əsrdə xristianlıq rəsmi dövlət dini kimi qəbul olunduqdan sonra digər bölgələrdə olduğu kimi, burada da həyat canlanıb, arxitektura məziyyətləri ilə diqqəti cəlb edən dini məbədlərin inşasına təkan verilib.
Yerli əhali yaşayış və dini ayinlərin keçirilməsi üçün məhz həmin mağaraları seçib, onları genişləndirib, qayalarda yenilərini çapıblar. Qayaların tərkibini daşlaşmış qumsal süxurlar təşkil edir. Mağaraların möhkəmliyini artırmaq məqsədilə tikilinin tavanı hisə verilir, daşlaşan süxurlar çapılırdı. Mağaraların bəzisi kvadrat formalıdır. Tavanları isə günbəzşəkillidir. Kiçik ölçüləri ilə fərqlənən yaşayış üçün oyulmuş çox da hündür olmayan mağaralar bir və bir neçə otaqdan ibarət olub, bir nəfərlik yatağa və ibadətgaha malikdir. Hər mağaranın girişi və mazğal tipli pəncərələri var. Hücrələrin bəziləri ümumi çıxışla təchiz olunub. Bir-birinin üzərində oyulmuş ayrı-ayrı hücrələrin iç-içə əlaqəsi var. Ceyrançölün füsunkar mənzərəsinin seyrini mümkün edən oyuqlardakı yataq, taxçalar və ocaq yeri vaxtı ilə burada yaşayan zahidlərin məişətindən, onların həyat tərzindən xəbər verir. Mağaralar qismən dağılsa da, min ildən çoxdur, yaşayır və bizdən sonra neçə nəsil bunları görəcək.
Sərt iqlim şəraiti, hökm sürən quraqlıq səbəbindən yağış suyundan qənaətcil istifadə zərurətini hiss edən rahiblər qayalarda su quyuları üçün oyuqlar çapıblarmış. Yağış suyunu ötürücü novlar vasitəsilə öncə durulduculara yığan insanlar daha sonra onu daim sərin saxlaya bilən dərin quyulara yığırlarmış. Ərazidə yaşayan sakinlərin həqiqətən suya möhtac olmaları antik dövr tarixçiləri tərəfindən də təsdiqlənir. Plutarx yazır ki, e.ə. 65-ci ildə Roma sərkərdəsi Pompey Qafqaz Albaniyasında albanların üsyan qaldırmaları xəbərindən bərk qəzəblənir və qiyamı yatırmaq üçün qoşunlarını buraya göndərir. Kür çayını adlayıb ucsuz-bucaqsız susuz çöl üzərindən keçərək uzun məsafəni qət etməyə – Kambisenanı ram etməyə hazırlaşır və bu məqsədlə 10 min su tuluğu tədarük etmək əmrini verir.
VII-VIII əsrlərdə Qafqaz Albaniyasında İslam dininin yayılması ilə əlaqədar albanlar dinlərini və özlərini qorumaq üçün sıldırım qayalıqlarda yerləşən bu dağlara sığınmışdır. Mağaralar kompleksində keçilməz qayalar üzərində qala tipli tikilinin inşası ərazinin zaman-zaman basqınlara məruz qalması ilə izah olunur. XI əsrdə Səlcuqlar buraları viran edib, XIII əsrdə monqollar dağıntılara məruz qoyub. Teymurləng də bu ərazilərə basqın edib. Amma mağara-məbədlərə ən ağır zərbəni I Şah Abbas vurub və 1615-ci ildə dinlərindən dönməkdən imtina etmiş 5 min alban rahibi qətlə yetirib.
XVIII-XIX əsrlərin sonu mağara-məbədlərə maraq bir qədər azalır, onlar xarabalığa çevrilməyə başlayır. Bu onunla əlaqədar olmuşdur ki, 1836-cı ildə Qafqaz Albaniyasında mövcud olan Alban katolikosluğu məqsədli olaraq Rusiya çarlığı tərəfindən ləğv edilərək erməni Qriqorian kilsəsinin tabeliyinə verilmişdir.