Ves Mrač se poprvé připomíná v r. 1318, kdy je doložen místní vladyka Zdislav z Mrače. Jeho sídlem byla patrně starší tvrz, ze které zůstalo jenom tvrziště, ležící asi 100 m východně od pozdější, dodnes dochované tvrze. Je to nevysoký pahorek s příkrými svahy. Před tvrzištěm je homolovitý pahorek, na němž snad stával dřevěný srub. V r. 1356 se připomínají další vladykové z Mrače, bratři Oldřich, Vilém a Ješata. Písemné zprávy o tvrzi se nedochovaly a také důvody, proč brzy zanikla, nejsou známé.


Koncem 14. stol. přešlo mračské zboží do majetku Benešoviců. Tito majitelé sídlili na nové tvrzi, kterou postavili dále od někdejšího sídla Zdislava z Mrače, na nejnižším konci vyvýšeniny nad Benešovským potokem. Tato tvrz se dochovala dodnes. Jako první z nových majitelů se koncem 14. stol. uvádějí Beneš z Lopřetic na Mrači, v r. 1410 Oldřich z Mrače, v r. 1438 Beneš z Dubé a z Mrače, předek Mračských z Dubé. Jeho potomci zůstali na zdejší tvrzi do 1. pol. 16. stol. V r. 1540 koupil tvrz Jaroslav starší ze Šelmberka a z Kosti, majitel blízkého Hrádku nad Sázavou (nyní Komorní Hrádek), který později zapsal rozšířené mračské zboží své manželce Anně, rozené Krajířové z Krajku. Jejím dědicem se stal syn Jan (+1597), z jehož pozůstalosti se statek vrátil ke Komornímu Hrádku, do majetku Adama mladšího z Valdštejna. Jeho syn Jan Viktorin z Valdštejna musel dát r. 1648 Mrač do zástavy svému věřiteli Václavu z Vrbna a Bruntálu. Tvrz se v této době, po třicetileté válce, popisuje už jako pustá. V r. 1663 koupil mračský statek Bernard Ignác z Martinic (+1685), jehož dcera převedla r. 1690 toto dědictví na svého manžela Jana Františka z Vrbna a Bruntálu, syna někdejšího valdštejnského věřitele. Kámen ze zřícenin tvrze byl použit na stavbu zámku jakožto vrbnovského sídla v Mrači. Nakonec byla tvrz koncem 17. stol. přestavěna na sýpku. V této podobě se dochovala až do 2. pol. 19. stol., kdy byla upravena na příbytky pro dělníky mračských žulových lomů. Obytným účelům slouží dodnes. Je to patrová budova obdélníkového půdorysu, vystavěná z lomového kamene, neomítnutá, krytá valbovou střechou. Na vých. straně je k ní připojeno kamennou zdí čtverhranné nádvoří.



Zámek, jež si Vrbnové po získání mračského statku postavili nad zpustlou tvrzí, plnil funkci obytného rytířského sídla. Podle popisu z r. 1720 bylo "obytné sídlo rytířské" celé zděné, v přízemí byly vrchnostenská kancelář, pokoj pro hejtmana, příbytek obilního písaře, dvě kuchyně a dvě komory. V patře byly místnosti pro vrchnost: tři pokoje, jídelna a kaple. Nevelký objekt měl být nahrazen větším zámkem; ke stavbě však nedošlo. V r. 1725 koupil Mrač Jan Josef z Vrtby a spojil ji s Konopištěm. Nové sídlo zpustlo a brzy z něho zůstaly jenom velké zříceniny obvodového zdiva s okenními otvory; dochovaly se dodnes.