1922 m. Ukmergėje buvo įsteigtas Centrinio knygyno skyrius, kuriam patikėtos bibliotekos funkcijos. 1936 m. jis pavadintas Ukmergės Viešąja biblioteka. 1946 m. įkurtas Vaikų literatūros skyrius, 1950 metais tapęs rajonine vaikų biblioteka. Centralizacijos metais (1973-1976) uždarius 12 kaimo bibliotekų, likusios 39 kaime ir 2 mieste tapo Centrinės bibliotekos filialais, rajoninė biblioteka pavadinta centrine. 1995 m. centrinė biblioteka pavadinta viešąja.
2000 m. viešajai bibliotekai atiduotas administracinis pastatas Vytauto g., atlikta šio pastato rekonstrukcija – įrengta nauja periodikos ir interneto skaitykla, pritaikyta neįgaliesiems, suremontuotos kitos patalpos. Vykdant Šiaurės Ministrų Tarybos biuro Lietuvoje finansuotą projektą, 2003 m. Vaikų literatūros skyriuje įrengtas Dienos centras „Vilties sala” su žaisloteka „Karlsono palėpė”. Kiekvienais metais bibliotekoje rengiamos poezijos pavasarėlio šventė „Debiutai”, rudens poezijos šventė „Sugrįžimai”, organizuojamas „Geriausio metų bibliotekininko” konkursas, nuo 1999 m. už geriausius poezijos, meninės prozos bei publicistikos kūrinius teikiama literatūrinė Vlado Šlaito premija.
Bibliotekoje saugomos literatūrologo Vinco Kuzmicko, kraštietės Genovaitės Stulpinienės knygų bei autografuotų knygų kolekcijos.
Įgyvendinus Lietuvos Respublikos Kultūros ir sporto rėmimo fondo finansuotą projektą „Rašytojo V. Šlaito vardo suteikimas viešajai bibliotekai ir jo atminimo įamžinimas”, sutvarkyta poeto gimtoji sodyba Žemaitkiemyje, įrengtas muziejus, 2005 m. rugsėjo 28 d. bibliotekai suteiktas Vlado Šlaito vardas.
Šiuo metu rajono skaitytojus aptarnauja viešoji biblioteka, 28 kaimo struktūriniai padaliniai.
