Im Zentrum der schlossähnlichen Anlage, dort, wo im Neuen Schloss der Festsaal platziert war, befand sich der große Hörsaal der Hohen Carlsschule. Hier wurden Vorlesungen gehalten und hier fanden die jährlichen Feste statt, bei denen Herzog Carl Eugen von Württemberg (reg. 1774-1793) die besten Schüler mit Preismedaillen auszeichnete. Gleich neben dem Saal, an ebenso prominenter Stelle, lagen die Krankenzimmer "...weil sie da in der reinsten Luft stehen und die den Augen so angenehme Aussicht ins Grüne der Gärten und Weinberge haben" wie es in einer Beschreibung des Akademiegebäudes von 1783 heißt.
Der Grundriss wird in der Plansammlung des Landesmuseums Württemberg aufbewahrt.