Nordansicht des Schlosses vom Garten her. Foto: Herbert Liedel Der imposante Sandsteinbau diente seinen Besitzern ursprünglich nicht als ständiges Wohnhaus, sondern als Gartenanwesen für sommerliche Gesellschaften und Freizeitvergnügen.
Hier "erbauet er die grosse steinerne Behausung an seinen Garten hinauf", so heißt es in den Annalen, als Lorenz Tucher und seine Frau Katharina ihr seit dem 14. Jahrhundert bestehendes Gehöft am Treibberg von 1533 bis 1544 zu einem repräsentativen Refugium erweitern ließen.
Im Zweiten Weltkrieg brannte das Schloss bis auf die Grundmauern ab. Gerettet werden konnte der bewegliche Bestand an Möbeln, Gobelins und Dekorationen. Seit 1969 hat dieser Kunstbesitz seinen Platz im - nun als Museum - wieder aufgebauten Tucherschloss gefunden.