İskilip merkezinde bulunan Osmanlı dönemine ait 100 metre yükseklikteki tabi bir kaya üzerine inşa edilmiş,kalenin güney ve güneydoğu eteğinde Roma dönemine ait kaya mezarları bulunmaktadır. Güneydoğusunda bulunan kaya mezarının iki sütunlu dikdörtgen bir girişi vardır.Yuvarlak sütun gövdeleri yukarı doğru inmektedir. Başlıklarda bulunan bilezikler üzerinde oturmuş birer aslan bulunmaktadır. Sütun başlıkları üzerindeki üçgen alınlık içerisinde ise yatar durumda karşılıklı kanatlı iki aslan figürü bulunmaktadır. Kabartmalardan birinin elinde kılıç,diğerinin elinde kadeh mevcuttur. Mezar odası içerisinde iki adet ölü sekisi bulunmaktadır.
İlçenin merkezinde ve İskilip Kalesinin eteklerinde yer alan bu Kaya Mezarlarının Paflagonyalılar’ dan kaldığı yazılıdır. Emevilerin İstanbul’u fethetmek için Anadolu’ya girdikleri M.S. 715 ve M.S. 717 yıllarında bu kaleye Kaya Mezarları nedeniyle verdikleri isim “Menkuriye” (Delikli) Kaledir. Bu tarihi kalıntının üzerinde sütun başlıkları üzerindeki üçgen alınlık içerisinde iki aslan figürü bulunmaktadır. Mezar odası içerisinde iki adet ölü sekisi vardır.
İskilip, Roma döneminde jeostratejik ve jeoekonomik önemini korumuş, seçkin yerleşim birimlerinden biri olarak 1000 yıla yakın ev sahipliği yapmıştır. İskilip’in Bizans döneminde en önemli üç şehirden birisi olduğu da eski çağ tarihçileri tarafından belirtilmiştir.