Klosterporten var opprinnelig inngangsportal til Gjemsø kloster i Skien. Klostervirksomheten ble avviklet allerede ved reformasjonen i 1537, og flere eide den flotte eiendommen før den brant i 1885. Familien Cappelen var gårdens siste eiere.
Porten er en bygning med to små rom, museet brukte disse til billettsalg fra 1912-1991.
Klosterporten kom til Brekkeparken i 1885.