In den Jahren 1735 bis 1740 ließ Augustin Stegmüller, der Abt des Klosters Zwiefalten, das Schloss als Sommerresidenz im einfachen Barockstil erbauen. Es war der Standort eines ehemaligen Klosters.

Der 66 m lange Keller ist in den Stein gehauen und diente als Vorratskeller des Klosters Zwiefalten.

Das Wappen des Abtes kann man heute noch über der Eingangstür sehen.

Im Rahmen der Säkularisierung des Klosters Zwiefalten fiel das Schloss 1803 dem württembergischen Herzog Friedrich II. zu. Er schenkte es noch im gleichen Jahr seinem württembergischen Staatsminister Philipp Christian Friedrich Freiherr von Normann.

Das Schloss war bis 2015 im Besitz seines Urenkels Roland Freiherr von Saint-André.

2016