Der Bau der Burg „Fridberch“ wurde erstmals um 1257 zur Sicherung der Wittelsbacher Grenzen erwähnt. Kurzzeitig wurde die Burg immer wieder aufgrund ihrer günstigen Lage zu Augsburg von hochrangigen Persönlichkeiten bewohnt und wurde so namentlich zu einem Schloss umfirmiert. Nach einem Brand 1541 wurde das Schloss mit einem zweigeschossigen Arkadenhof in Renaissancearchitektur versehen, die Arkaden im Obergeschoss wurden im 18. Jahrhundert zu Gunsten der Wohnqualität zugemauert. Die Vierflügelanlage ist von einem Schlossgraben umgeben. Dort befindet sich auch das bekannte Köpfhäusl, ein Bastionsturm, neben dem sich eine Richtstätte befand.