İlçeye 8 km uzaklıkta ve Güney yamacındaki ovalık arazi yapısı içinde hâkim bir noktaya inşa edilen bu kale, Erzen Bölgesinin savunması için yapılmıştır. Şeyh Bace Kalesi Tarihi kaynaklarda kim ve kaç tarihinde yapıldığı bilinmiyor. Ancak; bazı kaynaklarda Dilmaçoğlu beyliği (1085-1192) tarafından yapıldığı belirtiliyor. Şerefname'ye göre Erzen Kalesi 1514 dolayında Sason hükümdarı Muhammed Bey b. Ali Bey Sasoni tarafından Hasankeyf Beylerinden alınarak tahrip edilmiştir. Kaleye şuan yıkılmış olan doğu-batı güzergâhlı iki kapısı mevcuttur. Birinci kapı kalenin doğusunda bulunan ve Garzan çayı üzerinde inşa edilmiş olan köprüden Erzen Şehrine doğru açılmaktaydı. Kalenin ayakta kalan kısımlarında pişmiş tuğla, Cığs ve çakıl türü malzemelerin kullanılmış olması, bölgenin farklı devlet ve beyliklerin eline geçtiğini gösteriyor. Kozlukta inşa edilen ve tarihe tanıklık eden dört kalenin ortak özelliği savunma amaçlı yapılmış olmasıdır. Bu nedenle kaleler arasında irtibatın sağlanabilmesi için de kaleler birbirini görebilecek yüksek tepelerde inşa edilmiştir.