Rasmus Hjortshøjs Gaards bygningshistorie kan føres tilbage til 1400-tallet med en kælder hvori der indgår middelalderligt murværk. Forhuset er opført 1685 -- eller først i 1700-tallet, som købmandsgård for Rasmus Hjortshøj med forhus og sidehus. Forhusets etage er delvist forhøjet i første halvdel af 1800-tallet og sidehusets hejsekvist er tilføjet i midten af 1800-tallet. Ejendommen blev restaureret i 2000-2002 og i dag rummer bygningen fortsat både bolig og erhverv. Her ses den nordlige del af sidebygningen med hejsekvisten.