Das Schloss beherbergt heute die Musikhochschule Karlsruhe. Genau an dieser Stelle war 1094 ein Benediktinerkloster gegründet worden. Das Kloster wurde 1525 im Bauernkrieg geplündert und zerstört. Im Zuge der Einführung der Reformation gelangte das Gelände 1556 in den Besitz der Markgrafen von Baden-Durlach, die hier seit 1588 nach Plänen von Johannes Schoch und Paul Murer ein Schloß errichten ließen. Dieses wurde 1689 im Zuge des pfälzischen Erfolgekrieges zerstört und in den 1730er-Jahren zweimal durch Brände beschädigt. Danach wurde es zum Gutshof umgestaltet. Von 1818 bis 1919 diente es als Kaserne, anschließend als Wohnhaus. Ab 1936 waren im Schloss wieder Soldaten untergebracht. 1944 wurde es bei einem Luftangriff getroffen und brannte aus. Nach Abschluss des 1977 begonnenen Wiederaufbaus konnte 1989 die Musikhochschule einziehen.
