Kirken regnes som en af Lollands ældste, selv om man ikke har nogen decideret dåbsattest for kirken, så ved man, at den er opført i den romanske periode fra 1150 til 1300.

Det umiddelbare indtryk man får er, at her er en kirke uden en masse faldera. Skib, kor og våbenhus og det er så det. Og så er våbenhuset endda en nyere tilføjelse, for det er kommet til i forbindelse med restaureringen i 1853.

Indenfor er kirken stram og stringent i sin opbygning. Her er ikke en masse pynt på vægge eller lofter. Kirkerummet er hvidkalket, og derfor kan man slet ikke undgå at lægge mærke til altertavlen, der forestiller Kristus, der dømmer levende og døde. Korbuen er en perfekt indramning.

Når man står med front mod alteret, har man på sin højre side prædikestolen, der er et fornemt træskærerarbejde, hvor man kan se Kristus og de fire evangelister – Matthæus med engelen, Markus med løven, Lukas med oksen og Johannes med ørnen.

På sin venstre side har man døbefonten, der er senromansk. Det vis sige fra omkring år 1300. Fonten har haft forskellige pladser i kirken. Så sent som i forrige århundrede var den halvt indemuret i den ene side af korbuen.

Dåbsfadet i messing har jagtmotiver med springende hjorte og hunde, så fadet er næppe skabt som dåbsfad men er nok snarere skænket af en adelsmand.

Om fortegnelsen over kirkens præster fra reformationen, man kan se i koret, skriver Otto Larsen i bogen Lolland-Falsters Kirker med tekster af Lolland-Falsters præster, der er udgivet af De Lollands-Falsterske Venstreblade i 1936:

Endvidere finder vi i koret minder om den række præster, der har virket her siden reformationen foruden en såkaldt "series pastorum" c: en fortegnelse over de nævnte præster "såwidt wi dis kand" findes der i korvæggens nord-og sydside indmuret 2 ligsten, den ene over præsterne Anders Poulsen Rhode + 1619, og Oluf Nielsen Glob, + 1635, samt præstedatteren Margrethe Christiernsdatter, + 1647, den anden over præsten Zacharias Poulsen Danckel, + 1715, og hans hurstru Margrethe, der var en datter af hans forgænger i embedet slægskabets bånd har i det hele taget været stærkt hos de Ø. Ulslev præster; således var præsterne fra 1645-1785 alle i familie med hinanden.

På kirkens nordvæg lige over indgangsdøren er der et indemuret gipsrelief, der viser et motiv fra den apokryfe skrift Tobias’ bog, nemlig sønnen, der ledsages af englen Rafael vender hjem med den salve, han salver den gamle blinde faders øjne med, så han får synet igen.