Familjerna kom ofta från andra delar av Sverige eller från Östeuropa. En av de första var Nissen Felländer, som anlände 1865. Under de följande årtiondena växte den judiska gruppen och kom att spela en viktig roll för stadens och länets kulturella och ekonomiska utveckling. Etableringen av församlingen skedde också i en tid då Karlstad växte som handelsstad, vilket erbjöd goda möjligheter för gårdfarihandel och småföretagande – yrken som många invandrade judar traditionellt hade ägnat sig åt. Omkring 1890 bildades en judisk församling och 1899 invigdes en synagoga i stadsdelen Klara.
Efter en markdonation började församlingen förbereda en judisk begravningsplats i Karlstad. I ett kungligt brev, undertecknat av Gustaf V, godkändes den och invigdes år 1920.
Efter krigsslutet 1945 anlände judiska kvinnor som räddats från koncentrationslägret Bergen-Belsen till Herrhagen med tåg. De fick vård på Herrhagsskolan, som hade ställts om till beredskapssjukhus. Fjorton kvinnor klarade inte återhämtningen utan avled och begravdes på Mosaiska begravningsplatsen. Deras gravar, som är kulturmärkta, finns kvar där än idag.
År 1961 revs synagogan i Klara, vilket markerade slutet för den judiska församlingen som redan hade börjat upplösas på grund av minskande medlemsantal. År 1967 övertog Karlstads kyrkliga samfällighet skötseln av Mosaiska begravningsplatsen. Fram till dess hade Harald och Ivar Münnich ansvarat för arbetet. De tillhörde båda en släkt som kom till Karlstad under sent 1800-tal.
I kapellet på begravningsplatsen återfinns idag en ljuskrona och några av bänkarna från den rivna synagogan. År 2003 beslutade Länsstyrelsen att Karlstads kyrkogårdsnämnd skulle överta ansvaret för Mosaiska begravningsplatsen och den har sedan dess betraktats som en allmän begravningsplats där endast judar har rätt att begravas. Idag underhålls den av Kyrkogårdsförvaltningen i Karlstads pastorat.