V budově piaristické koleje byla umístěna knihovna piaristického gymnázia, která nyní čítá 9 095 svazků. Knihovna zřejmě měla dvě samostatné sbírky, knihovnu profesorskou a knihovnu „studentskou“. Profesorská knihovna byla zřejmě v roce 1851 přestěhována do budovy gymnázia. Když gymnázium převzal roku 1873 stát, tato knihovna se dostala pod jeho správu. Po stavbě nové gymnaziální budovy tam byla přestěhována, ale později byla předána Městskému muzeu.
Druhý fond s největší pravděpodobností sloužil jako knihovna studentská a byl uložen a spravován v budově koleje. Tato knihovna byla počátkem 50. let 20. století přestěhována do litomyšlského zámku, kde údajně nebyla ani zamčena. Teprve na počátku 80. let 20. století byla přenesena do budovy Městského muzea v Litomyšli, kde jí byl vyhrazen prostor chodby druhého podlaží.
K charakteru knihovny je třeba konstatovat, že z kulturně historického hlediska je nejcennější skutečnost, že se jedná o knihovnu pro potřeby školního studia, a proto knihovna obsahuje díla z oborů, které byly na piaristických školách vyučovány. Většina svazků pochází z poloviny 17. století, tedy z doby, kdy řád piaristů přišel do Litomyšle. Jejich zaměření je často vědecké. Najdeme mezi nimi řadu děl o astronomii a matematice, ale i díla s náboženskou tématikou. V knižním fondu jsou rovněž vzácné prvotisky i rukopisy
V roce 2015 celý knižní fond bezplatně darovala Českomoravská provincie Řádu zbožných škol – piaristů Městu Litomyšl. Při rekonstrukci budovy Regionálního muzea byly knihy provizorně uloženy a nyní čekají na stálé umístění v původních knihovních skříních. Město po převzetí fondu zajistilo repasi šesti starších zdobených knihovních skříní, které jsou nyní umístěny v chodbě východního křídla prvního patra piaristické koleje a byly opatřeny sklem, aby bylo zajištěno bezpečí uložených knih.
30. 5. 2018 byla podepsána Smlouva o spolupráci mezi Městem Litomyšl a Fakultou restaurování UPa, která upravuje péči o knihovní fond. FR UPa postupně umístí knihy do historických regálů a bude s celou knihovnou pracovat, a to v restaurátorské, badatelské i vědecké rovině. Kromě restaurování vybraných tisků v rámci výuky, běžné fyzické péče a katalogizace je plánováno zpřístupnění knižního fondu odborné i laické veřejnosti. Součástí práce s knižním fondem by měla být rovněž digitalizace celého fondu, např. prostřednictvím odborně zaměřeného projektu.
O tisíce cenných knih piaristického řádu bude pečovat Fakulta restaurování Univerzity Pardubice