Norra kyrkogården invigdes den 6 augusti 1916 av Biskop von Schéele. Kyrkogården ritades av trädgårdsdirektör Wilhelm Ekman, verksam vid Stockholms Norra begravningsplats. Visby Norra kyrkogård gavs en tysk-engelsk utformning med slingrande gångar som utgår från en central plats. Vid denna plats skulle ursprungligen ett kapell byggas men så blev det inte. Det skulle dröja fram till 1967 innan kyrkogårdens kapell tillkom och då placerades det på en helt annan plats. 1967 utvidgades även kyrkogården söderut i enlighet med ritningar av statsarkitekt Arne Philip samt kyrkogårdschef Sixten Frank. I detta område anlades sedan Gotlands första urnkvarter samt minneslund. Invigningen gjordes den 4 november 1967 av Biskop Olof Herrlin.
Nästa utvidgning genomfördes norrut i början på 1990-talet efter ritningar från kyrkogårdskonsulent Lennart Lundqvist som hämtade inspiration från de två tidigare delarna av kyrkogården. Invidningen gjordes den 30 oktober 1993 av Biskop Biörn Fjärstedt. Biskop Biörn invigde år 2001 även en mindre utökning av kyrkogården öster om den senaste utvidgningen med askgravar och en barnminnesplats. Denna del har en mera vildvuxen natur- och ängskaraktär och har formgetts och anlagts i egen regi.
Den senaste utvidgningen, Ängskyrkogården, sydost om kyrkogårdens äldsta del är ritad av landskapsarkitekt Monica Sandberg och togs i bruk 2019. Här finns bland annat de för Visby nya gravskicken kolumbarium och askgravlund.
Norra kyrkogården omfattar totalt ca 10 ha, 6250 gravar och ca 1200 träd. På denna kyrkogård finns även Allhelgonakapellet samt krematoriet. På Norra kyrkogården vilar bl a Biskop Algot Anderberg, Friedrich Mehler, Ragnar Thunaeus, dr Torbern Fegraues, Mathias Klintberg och direktör Allon de Jounge.