Das Kunstgebäude ist Domizil des Württembergischen Kunstvereins. Außerdem veranstaltet das Land Baden-Württemberg in den Räumen des Kunstgebäudes regelmäßig Landesausstellungen. Ebenfalls im Gebäude untergebracht ist das Café Künstlerbund. Das Kunstgebäude wurde 1912-13 vom Architekten Theodor Fischer erbaut. Es steht an der Stelle des 1902 abgebrannten Hoftheaters, dessen Kern wiederum auf das 1593 errichtete Neue Lusthaus zurückgeht, Nach den Kriegszerstörungen wurde das Kunstgebäude 1965 bis 1961 von Paul Bonatz und Günter Wilhelm vereinfacht wiederaufgebaut. Der goldene Hirsch auf dem Kuppeldach stammt vom Bidlhauer Ludwig Habich.