Štvorkrídlová palácová budova bývalého župného domu je ako chránená národná kultúrna pamiatka súčasťou a svojou polohou vlastne i vstupnou bránou mestskej pamiatkovej rezervácie “Horné mesto”. Ide o pôvodne barokovú stavbu z 18. storočia, postavenú pravdepodobne na starších základoch. Začiatkom 17. storočia pozostávala len z dvoch miestností. V rokoch 1774 – 1776 došlo k jej rozšíreniu. Po rozdelení biskupskej a župnej právomoci v roku 1777 dalo župné zhromaždenie postaviť nové, reprezentačné sídlo správy nitrianskeho regiónu, ktoré tu vykonávalo svoju činnosť viac ako dve storočia. História dnešnej podoby župného domu siaha do rokov 1784 – 1823, kedy bola stavba realizovaná a neskôr doplnená o vyššie podlažia východného i západného traktu. Táto neobaroková prestavba z roku 1874 sa uskutočnila pod vedením architekta Edöna Dümmerlinga. Posledná architektonická úprava v duchu secesie z rokov 1905 – 1908, podľa projektu V. Czíglera a pod dozorom nitrianskeho staviteľa J. Tomascheka, obohatila celkový ráz budovy o nové výtvarné riešenie. Dodnes zachované prvky secesného tvaroslovia, viditeľné na fasádach i v interiéri, sú znateľným dokumentom o uplatnení tohto dekoratívneho slohu v našom meste.

Budova župného domu bola s menšími prestávkami od svojho vzniku až do roku 1945 sídlom nitrianskej župy. V rokoch 1923-1929 tu vo funkcii župana pôsobil slovenský spisovateľ Janko Jesenský. Po územnosprávnej reorganizácii jej priestory využívali miestne štátne orgány a organizácie. V roku 1983 bola budova prevedená do majetku i správy nitrianskej galérie, ktorá sa stala jej hlavným užívateľom. Vyvýšenina, nachádzajúca sa v priamom susedstve východného traktu budovy, slúžila v 17. storočí ako obranný val v období tureckých vojen. V tejto časti, nazývanej Horný Palánok, je umiestnená i galerijná záhrada. V minulosti tu boli organizované rôzne kultúrne podujatia, večery pri fontáne, koncerty, výstavy v exteriéri i letná čitáreň pre verejnosť. V rokoch 1990 – 1997 boli v areáli bývalého župného domu uskutočnené štyri sezónne archeologické výskumy. Výsledkom boli viaceré pozoruhodné nálezy (zvyšky stredovekých architektúr, najmä brána murovanej kamennej hradby z konca 11. storočia, hrob s kostrami dvoch detí zo staršej doby bronzovej), ktoré prispeli významnou mierou k objasneniu archeologickej situácie v tejto časti mesta.