Der imposante Sandsteinbau diente seinen Besitzern ursprünglich nicht als ständiges Wohnhaus, sondern als Gartenanwesen für sommerliche Gesellschaften und Freizeitvergnügen.
Hier "erbauet er die grosse steinerne Behausung an seinen Garten hinauf", so heißt es in den Annalen, als Lorenz Tucher und seine Frau Katharina ihr seit dem 14. Jahrhundert bestehendes Gehöft am Treibberg von 1533 bis 1544 zu einem repräsentativen Refugium erweitern ließen.
Im Zweiten Weltkrieg brannte das Schloss bis auf die Grundmauern ab. Gerettet werden konnte der bewegliche Bestand an Möbeln, Gobelins und Dekorationen. Seit 1969 hat dieser Kunstbesitz seinen Platz im - nun als Museum - wieder aufgebauten Tucherschloss gefunden.
Die Straßenfassade des Schlosses ist - entsprechend der einstigen Nürnberger Bauordnung - schlicht gestaltet. Eine überraschende Prachtentfaltung zeigt der Innenhof: eine reizende Mischung von architektonischen Schmuck- und Gliederungselementen der Renaissance aus verschiedenen Ländern. Hauptmerkmal ist der an französische Vorbilder erinnernde Treppenturm, der über das Satteldach des Hauptbaus hinaus ragt und dort mit seiner Gliederung in drei Türmchen einen malerischen Akzent setzt.