Josefas Zusmanovičius gimė Minske rabino šeimoje, kuri po poros metų emigravo į Palestiną, gyveno Jeruzalėje. J. Zusmanovičius grįžęs į Lietuvą, mokėsi Telšių ir Slabodkės ješivose. Buvo Slabodkės ješivos vadovas ir rabinų teismo teisejas. Paskelbė virš 30 religinių ir teisinių veikalų. Nuo 1936 m. buvo Ukmergės rabinas.
Remiantis Geršono Taico informacija, J. Zusmanovičius Lietuvoje išgarsėjo vardu „Gaon Yerushalmi“ (Jeruzalės genijus).
1941 m. rugsėjo mėn. J. Zusmonovičius su kartu savo šeima ir kitais Ukmergės rabinais nužudyti Ukmergės Pivonijos šile.
Atminimo akmuo įrengtas Vienuolyno g. 2, prie buvusio sinagogos pastato, kur J. Zusmanovičius iki mirties ėjo rabino pareigas.
