A mai képtárépületet 1913-ban az art deco kimagasló hazai építésze, a balassagyarmati Magos (Munk) Dezső saját tervei alapján készítette. Az eredetileg tágas, fedett terasszal rendelkező pavilon az 1904-ben bővített egykori Rák-szálló kertjében épült, a nógrádi nemes férfitársaság azon 1896-os szándéka eredményeként, miszerint az 1838 óta bérleményekben működő reformintézmény önálló székházban működjék a közjó szolgálatára. 1945-ben a Magyar Kommunista Párt székházává alakult, majd 1952-ben ide költözött a Járási Könyvtár. Ez időből való a dél-keleti terasz befedése és a nyugati ablaksor átépítése. Az 1956-os forradalom után a könyvtár a Járási Tanács (Wälder Gyula egykori Pénzügyi palotája) épületébe költözött, és itt újra a diktatúra állampártjának székháza működött 1972-ig. Ekkor újra könyvtárrá alakult át, amely 1989-ben költözött mai helyére. 1990 óta kortárs képzőművészeti gyűjteménynek ad otthont, Képtárként működve. Karaba Tamás tervei alapján korhű felújítására az Európai Unió és Magyarország Kormánya támogatásának köszönhetően 2015-ben került sor az AGORA – Balassagyarmati Kulturális és Turisztikai Központ című nyertes pályázat részeként.
A képtár ekkor vette fel Jánossy Ferenc festőművész nevét, akinek legjelentősebb művészi munkássága Balassagyarmaton töltött évtizedeihez köthető. Ez időből való a dél-keleti terasz befedése és a nyugati ablaksor átépítése. Az 1956-os forradalom után a könyvtár a Járási Tanács (Wälder Gyula egykori Pénzügyi palotája) épületébe költözött, és itt újra a diktatúra állampártjának székháza működött 1972-ig. Ekkor újra könyvtárrá alakult át, amely 1989-ben költözött mai helyére. 1990 óta kortárs képzőművészeti gyűjteménynek ad otthont, Képtárként működve. Karaba Tamás tervei alapján korhű felújítására az Európai Unió és Magyarország Kormánya támogatásának köszönhetően 2015-ben került sor az AGORA – Balassagyarmati Kulturális és Turisztikai Központ című nyertes pályázat részeként. A képtár ekkor vette fel Jánossy Ferenc festőművész nevét, akinek legjelentősebb művészi munkássága Balassagyarmaton töltött évtizedeihez köthető.