Zámecký pivovar byl postaven za vlády Pernštejnů roku 1585, tedy 13 let po výstavbě zámku. Část pivovaru byla vystavěna na místě zbořených domů bývalého bratrského horního města za Vratislava Eusebia roku 1630 a roku 1860 zevně novorománsky upravena. Počátkem 18. století přibyla barokní výzdoba - dílo F. M. Kaňky. Sgrafitová malba na pivovaře byla za empírového hraběte Jiřího Josefa Valdštejna zastřena maltou za účelem žádoucí jednoduchosti, jako na zámku. Nyní je sgrafitová výzdoba na některých místech opět obnovena. Do pivovaru se vchází z I. nádvoří litomyšlského zámku. Bedřich Smetana se zde narodil 2.března roku 1824 jako jedenácté dítě, ale první syn místního sládka. Pivovar byl zrušen v roce 1953.
Na jaře 2006 byla dokončena unikátní rekonstrukce původně renesančního zámeckého pivovaru v Litomyšli. Památka zapsaná spolu se zámkem na seznam světového kulturního a přírodního dědictví UNESCO se uvnitř proměnila na hotel s ubytovnou.