Государственный историко-культурный заповедник «Кешикчидаг» расположен в 75 км от центра Агстафинского района и в 28 км от деревни Бёйюк-Кесик. Заповедник простирается на 25 км вдоль границы с Грузией. Пещерный комплекс находится на необъятной территории Джейранчол, Гатардагской цепи, в северо-восточном направлении в 15 км от озера Джандар, на высоте примерно 750-950 метров над уровнем моря на южном и юго-восточном склоне горы. На территории заповедника имеется до 70-ти пещер, крепость, которая относится к началу средних веков, храм и святое место. Для сохранения от захватчиков своих религиозных взглядов идолопоклонники, которые поклонялись луне, солнцу, ушли в горы и стали здесь жить. Немного времени спустя огнепоклонники прорубили в скалах пещеры-убежища, и стали вести отшельнический образ жизни. Возраст природных пещер насчитывает 2 тыс. лет. А искусственные пещеры, находящиеся на этой территории созданы примерно в VIII-XV веках. Большинство из них были вырезаны или высечены в песчаных скалах. Так как это место подходило для ведения аскетического образа жизни в первых веках в пещерах поселились монахи, пришедшие в Кавказскую Албанию из Ближнего Востока. В IV веке, после того как христианство стало официальной государственной религией в Кавказской Албании жизнь здесь, как и в других регионах, забила ключом, и был дан толчок для строения религиозных храмов, которые привлекают внимание своей архитектурой.
Именно эти пещеры были выбраны местным населением для проживания и проведения религиозных обрядов, люди их расширили и высекли в скалах новые. В состав скальной породы входит песчаник с окаменелостями. С целью укрепления пещер окаменелые породы предварительно закопченного потолка подвергались скоблению. Некоторые из пещер имеют квадратную форму. А потолки форму купола. Пещеры, предназначенные для проживания и отличающиеся небольшими размерами, имеют одну или несколько комнат, спальню и молельню. У каждой пещеры есть вход и окно в виде амбразуры. Некоторые кельи были снабжены общим выходом, а также соединены между собой. Спальни, кровати и камины, которые можно увидеть в проемах наблюдая красивые виды Джейранчол, рассказывают об образе жизни проживавших здесь отшельников. Несмотря на то, что пещеры частично разрушены, они существуют более тысячи лет, и после нас, их увидит еще не одно поколение.
Суровые климатические условия, необходимость экономного использования дождевой воды из-за царившей засухи стали причинами того, что отшельники сделали в скале каналы для водоснабжения и резервуары. С помощью проводящих водосточных труб люди собирали дождевую воду сначала в специальные отстойники, затем в глубокие колодцы, в которых вода оставалась постоянно прохладной. То, что жители этой территории нуждались в воде, подтверждается историками античных времен. Плутарх пишет, что в 65 году до н.э. римский полководец Помпей сильно рассердившись на новость о восстании албанцев Кавказской Албании направляет туда свое войско подавить бунт. С целью подготовки покорить Камбисену, пройдя необъятные безводные степи и переходя через Куру, он отдает приказ запастись 10 тыс. бурдюками воды.
В VII-VIII веках в связи с распространением в Кавказской Албании Исламской религии албанцы для сохранения своей жизни и религии укрылись в горах. Строительство крепостей на непроходимых скалах пещерного комплекса объясняется тем, что эта территория время от времени подвергалась нападениям захватчиков. В XI веке пещерный комплекс разорило нашествие сельджуков, в XIII веке – нападение монголов. Темурленг также не оставил эту территорию без внимания. Но самые большие разрушения принес Шах Аббас I, и в 1615 году по его приказу было уничтожено 5 тысяч албанцев, которые не захотели отказываться от своей веры.
В конце XVIII-XIX веках интерес к пещерным храмам немного приутих, они стали превращаться в руины. Это произошло в связи с тем, что в 1836 году Албанский католикос, существовавший в Кавказской Албании, был ликвидирован со стороны царской России и перешел в подчинение армянской Григорианской церкви.
