Prije dva stoljeća prostor na kojem se razvio naš današnji grad – tada ubogo seoce na rubu svijeta – posjetio je austrijski car Franjo Prvi. On je u proljeće 1818. putovao novostečenom »kraljevinom Dalmacijom«, pa je tako pohodio i Split i Solin. Carev posjet nije bio turistički, a ni protokolarni: on je taj prostor gledao vojničkim očima. Ponajprije je proučavao mogućnosti austrijskoga širenja u istočnom Sredozemlju, možda u suradnji s ruskim carem, što se spletom okolnosti nije ostvarilo. Franjo Prvi vodio je za Carevinu nimalo lagane ratove protiv Napoleona te se na putu po Hrvatskoj ponajprije zanimao za vojna pitanja, za mogućnosti opskrbe vojske, za utvrde gradova i njihovo naoružanje. Na svojim putovanjima vodio je dnevnik koji danas pruža dragocjene podatke o todobnoj Dalmaciji.
Krajolike opisuje topografski; bilježi samo pojedinosti koje bi mogle pomoći vojnicima da se snađu u prostoru i vode ratne operacije. Vrlo malo pozornosti posvećuje zanatima, poljodjelstvu i trgovini koji ga zanimaju ponajprije radi pozadinske opskrbe vojnih postrojbi. Nešto više piše o dobrotvornim ustanovama, bolnicama i školama.

Splitske utvrde u to su vrijeme bile slabe i ruševne, a naoružanje nepotpuno. Stoga caru taj grad nije bio »vojnički zanimljiv«, ali su ga zato privukle rimske starine koje je vrlo podrobno opisao. Dan nakon što je na Peristilu u Splitu gledao narodne plesove, 14. svibnja 1818. odjahao je u Solin. Odjahao je, nije se odvezao, jer ga je put do akvedukta i rimskih starina vodio po stazama kojima kočije nisu mogle prolaziti. Car u svome dnevniku ne spominje svoju pratnju ni seljane koje je sretao, piše samo o vodovodu, krajoliku, sarkofazima uz cestu – ostatcima salonitanske zapadne nekropole.

14. svibnja
Od kapele sv. Duje ispred Solina, lijevo na cesti, prije nego se dođe u Split, odjahali smo desno u polje dolazeći iz Splita i ostavljajući kapelu nalijevo. Put je vodio lošim poljskim putem uz hridi s desne strane. Hridi su bile dosta zarasle grmljem i travom i nisu bile visoke. Inače je to polje lijepo obrađeno na način kao prostor između Solina i Splita. Idući tako dođe se za oko četvrt sata u prilično široku dolinu između prstena desno i drugog nasuprot dolini. Obronci su blagi i lijepo obrađeni. Kroz tu dolinu koso vode razvaline rimskog vodovoda. Vidi se osam lukova koji su još ostali, tri nadesno u smjeru kojeg smo došli, a pet nalijevo.
Građeni su od četverouglasta kamenja, pilastri su snažni, lukovi su dijelom okrugli, a dijelom uglati, no gore je visina jednaka. Na lukovima i pilastrima raste trava i žbunje. Lukovi su većinom završni dijelovi ovog dijela vodovoda koji je služio zato da vodu dovede preko doline do Splita. Sve do Splita mogu se naći tragovi njegove trase. Kraj kapele sv. Duje nalazi se izvor.
Mi smo se onda odvezli u Solin cestom prema Trogiru, kao da ćemo u Trogir. Lijevo i desno od puta ležali su pojedini pravi sarkofazi ili njihovi poklopci. Na putu desno nalazi se komad zida od četverouglastog kamenja, duž puta. Poslije oko pola sata vožnje, desno od puta, ide se nekoliko stotina koraka nekim maslinikom i dođe do jedne male pećine, izdubene u litici. Tu se nalazi jedan veliki sarkofag koji zauzimlje čitavu pećinu po širini. Na prednjoj strani sarkofaga jelijep i veliki basrelief, koji je već ponešto oštećen. Poklopca više nema. Pored pećine vidi se četverougao od kamenja, što, čini se, predstavlja temelje nekog malog hrama
koji se izdizao pred spiljom. Na tom području nalazi se i mala oslikana spilja. No slike su jedva vidljive.
(…)

Antička arheološka baština ponukala je cara Franju Prvoga da naloži osnivanje Arheološkoga muzeja u kojemu bi bili smješteni spomenici. Zahvaljujući tome Split je davne 1820. postao najstarije muzejsko središte u našoj zemlji, pa i šire.
Car je u Solinu, između ostaloga, u blizini ceste za Trogir vidio i malu izdubinu u litici i u njoj veliki sarkofag bez poklopca. Na prednjoj strani sarkofaga je oštećeni reljef koji prikazuje Heraklove podvige. Car je tada naumio zaštititi nalazište ovoga sarkofaga. U tome poslu surađivali su upravitelj starina Carlo Lanza i arhitekt Vicko Andrić. Određeno je da se sarkofag zaštiti izgradnjom kapele koja će biti posvećena svetome Kaju, papi i mučeniku. Po Andrićevu nacrtu izgrađena je kapela: udubina sa sarkofagom zaštićena je zidom, a zid završava kamenim lukom s natpisom CAPPELLA DED. ^TA A S. CAJO CARKVICA POSVE. ^NA S.KAJU. Iznad sarkofaga je postavljena slika svetoga Kaja koju je naslikao Rafael Martini. Otvor je bio zaštićen kovinskom rešetkom. Kapela je blagoslovljena na spomendan svetoga Kaja, 22. travnja 1822. Zbog sarkofaga, čiji je sadržaj pogrešno tumačen kao prikaz mučeništva svetoga Kaja, i vode koja se skupljala u sarkofagu, kapela počinje privlačiti hodočasnike sa širega prostora, čak i iz Bosne. Bila je vrlo malena, u nju je moglo stati svega šest osoba. Stoga je između 1856. i 1858. proširena i dobila je, po uzoru na Dioklecijanov mauzolej, osmerokutan oblik. Može se pretpostaviti da je u njezinu oblikovanju opetsudjelovao Vicko Andrić.
Godine 1892. nabavljena su i dva zvona, a do 1896., kada je izgrađen zvonik, stajala su na gredama. Crkva je temeljito popravljena 1895., a zvonik je nadograđen početkom 20.
stoljeća.