Søndre Brekke gård ble kjøpt og etablert som museum i 1909. Det var eieren Hans P. Høyer som solgte gården til museumsformål, og museet flyttet fra rådhusloftet i byen opp til hovedgården.
Historien om Søndre Brekke kan spores helt tilbale til 1400-tallet. Da var det Maria-kirken som eide gården. I 1780 ble hovedhuset bygget.
Gården var på manges hender før handelsminister Niels Aall kjøpte Søndre Brekke i 1810. Han bygde ut fløyene og satte huset i stand etter i datidens stil, som var empire.

Interiøret i hovedhuset er nå satt i stand slik man tror Niels Aall kan ha hatt det på starten av 1800-tallet.