Hvordan Sct. Olai Kirke har set ud, vides ikke præcist, men ved en arkæologisk udgravning først i 1907 og senere i 1918, fandt man på bakkens højeste punkt, fundamenter i jorden, der tyder på, at her kan kirken have ligget.
Det ville derfor også være naturligt, at der omkring denne kirke, på et eller andet tidspunkt opstod en kirkegård, men hvornår vides ikke.
Kirkegården omtales første gang i 1443 og igen i 1514, hvor det er kapellet, indviet til Den Hellige Jomfru, der nævnes.
I 1677 kommer der endnu en ledetråd i Peder Hansen Resens `Atlas Danicus´, hvor kapellet og kirkegården er tegnet ind.
Kongehelgen Olav og gode handelsforbindelser til Norge
Efter sin død blev Olav fremstillet som både den norske kirkes og den norske nations grundlægger, som helt ind i 1900-tallet haft stor betydning for norsk nationalfølelse.
Navnet Sct. Olai udspringer af en gammel katolsk tilbedelse af den norske kongehelgen Olav, som især var udbredt i de kystegne, der havde gode handelsforbindelser til Norge.

Med sin placering på højdedraget, fungerede bygningen derfor også som pejlemærke, for de der skulle til Kordel ad søvejen.
Sikkert er, at Sct. Olai, der blandt menigmand hed Sct. Olafs, er ældre end Vor Frue, der blev færdiggjort af datteren Ingeborg, efter Esbern Snares død omkring 1204.
Gråbrødrene kom, byggede og blev fordrevet under reformationen

Mens der blev bygget, på den femtårnede Vor Frue i Højbyen, som skulle være hovedkirke i sognet, var det Sct. Olai kirke der blev benyttet af skippere, bådsmænd og andre beboere i fiskerlejet Kordel, ny-tilflytterne i Højbyen og landdistrikterne mod nordvest – Raklev med omegn.

Men området mellem Højbyen og Nedrebyen Kordel, har også rummet andre kirkebygninger.
I perioden 1230-1240 fik den hellige Frans af Assis´ Gråbrødre opført et Franciskanerkloster med kirke, kirkegård og klosterhave, på fundamenterne af en tidligere bygning, der lå på stedet, hvor Klosterparkvej og Klostertorvet ligger i dag.
Kong Christian d. III godkendte den nye kirke i Raklev
Efter reformationen blev klosterets leder Melchior Ioannis flyttet til et embede i Sct. Olai Kirke.
Ioannis indså hurtigt, at kirken lå upraktisk i forhold til sognebørnene i Borre, der var det datidige navn for Raklev, og foreslog, at der blev opført en ny kirke der.
I 1546 godkendte kong Christian d. III byggeriet. Sct. Olai Kirke blev delvist nedrevet og den nye kirke på det højtliggende bakkedrag i Raklev, som Ioannis navngav Sankt Olaf, kunne tages i brug året efter.

Er du rig skal du ligge tæt på altret og den evige frelse
Selve flytningen af kirkeinventaret fra Sct. Olai til Raklev, er en interessant lokalhistorisk fortælling om genbrug, der er grunden til, at vi i dag stadig kan få et indtryk af byens første kirke Sct. Olai, i den senmiddelalderlige Raklev Kirke.

På østgavlen af Raklev kirke et spor fra Sct. Olai. Et romersk mandshoved i granit.
Sagnet siger, at den regn der drypper ned fra hovedet, har helbredende kraft.
BT: Kirken blev opført som et rektangulært langhus i ét rum. Et spor til Vor Frue er altertavlen, med elementer som genfindes i Vor Frues.
Da Vor Frue stod færdigopført, købte byens overklasse sig til bisættelser inde i selve kirkerummet.
Jo tættere på altret de velhavende kunne finde deres sidste hvilested, jo bedre for deres frelse.
Men med tiden underminerede de mange gravsætninger bygningens fundament, og i 1827 sank det midterste tårn i grus.
De døde skulle anbringes uden for byen
Men sognet havde brug for en kirkegård, hvor de der ikke kunne eller ville betale, blev begravet.
Ud over fattiglemmer, daglejere og tyende, blev der på Sct. Olai begravet mange børn og de fremmede, som havde mødt deres skæbne i Kalundborg.
I midten af 1600-tallet var pladsen ved Vor Frue blevet for trang.
Samtidig så de levende helst de døde anbragt uden for byen, og dermed blev Sct. Olai også kirkegård for Vor Frue og siden for Nyvangskirken på Rubjerg Knude, der blev indviet i 1974.
