Nejstarší panský pivovar byl postaven okolo roku 1550 za panství pana Václava z Boskovic. V roce 1569 převzal vizovické panství Zdeněk Kavka z Říčan, který měl výhradní právo šenkovní ve městě i okolních vesnicích. Dal zbourat všechny měšťanské a fojtské pivovary. Jejich majitelé si potom stěžovali u vrchnosti a své právo uhájili. Roku 1573 musel Zdeněk Kavka finančně odškodnit všechny stěžovatele. Poté začali měšťané opět vařit pivo. Obecní pivovar byl uveden do provozu v roce 1580. V roce 1610 prodal panský pivovar 50 sudů, měšťané jen 14 sudů. Město se rozrůstalo a vznikla větší potřeba piva. Proto byl původní panský pivovar zbořen a v roce 1700 postaven nový. Zřízeny byly pivní sklepy, prostorná spilka, kamenný hvozd a na něm sýpka. Stavba pivovaru se sladovnou stála 2 306 zl. 59 krejcarů. Výroba piva se v novém provozu zvýšila čtyřnásobně. Kolem roku 1782 se vařilo asi 533 sudů ročně. Roční výnos z pivovaru byl tehdy přiznán ve výši 444 zl 10 kr.. V té době např. panský pivovar odváděl ročně 47 sudů kláštěru Milosrdných bratří. V 19.století začala vrchnost svůj pivovar pronajímat. Na konci 19.století vyvstala potřeba modernizace pivovaru. Majitel vizovického velkostatku však po dohodě se správcem pivovaru v Napajedlech k rekonstrukci nepřistoupil a po smluvenou dobu v něm nechal vařit napajedelské pivo. Pivovar natolik zchátral, že další provoz byl již prodělečný. Napajedelský správce tedy po uvaření smluveného počtu várek výrobu ukončil. Aby však odbyt napajedelského piva ve Vizovicích zůstal, nabídla správa Napajedelského pivovaru velké nájemné za uskladnění svého piva v místnostech pivovaru. Poslední majitel byl baron Stillfried. Panský pivovar byl zrušen roku 1898. Obecní pivovar po celou dobu své existence stál ve stínu panského. Také výroba byla podstatně nižší. V roce 1882 byl provoz zastaven, v roce 1887 pivovar vyhořel, nebyl obnoven a v roce 1893 byl zbořen.