Roma İmparatorluğu döneminde Caesarea ad Anabarsum olarak anılan yer, Adana İli Kozan İlçesi'nin 28 km. güneyindedir. Antik şehir duvarlarının hemen dışına kurulmuş küçük köyün ismi Dilekkaya' dır.

Kentin Roma İmparatorluk Devri öncesi tarihi hakkında hemen hemen hiçbir bilgimiz yoktur. M.Ö. 19 yılında İmparator Augustus tarafından ziyaret edilen kent "Anazarbus yanındaki Caesarea" diye anılmaya başlamıştır. Anavarza Roma İmparatorluk Devrinin ilk iki yüzyılı boyunca büyük bir varlık göstermemiş, Kilikya başkenti Tarsus'un gölgesinde kalmıştır. Tarsus günümüze kadar yaşayabilmiştir; ama bunun karşılığında tarihi anıtlarının büyük bir bölümünü kaybetmiştir. Roma imparatorlarından Septimius Severus'un, Pescennius Niger ile yaptığı iktidar savaşı sırasında, Severus'un tarafını tutan kent, onun Niger'i 194 yılında İsos'ta yenerek imparatorluğun tek hakimi olmasından sonra ödüllendirilmiş, tarihinin en parlak dönemini yaşamaya başlamıştır. M.S. 204-205 yıllarında Kilikya, İsauria ve Likaonia eyaletlerinin metropolisi olmuştur. M.S. 260 yılında diğer Kilikya kentleri gibi Anavarza da Sasani Kralı Şapur tarafından fethedilmiştir. M.S. 4.yy.'da İsauria'lı Balbinos tarafından tahrip edilmiş olan Anavarza, İmparator II. Theodosius zamanında M.S. 408 yılında kurulan Cilicia secunda'nın (Bitek Kilikya) ve eyaletin başkenti olmuştur. 525 yılındaki büyük depremden zarar gören kent İmparator İustinianus tarafından onartılarak İustiniopolis adını almıştır. Ancak 561 yılında ikinci kez deprem felaketine uğramıştır. 6. yy. da ise kent büyük bir veba salgınına uğramıştır.