Das historische Pellerhaus ließ der selbstbewusste Nürnberger Großkaufmann Bartholomäus Viatis, ein gebürtiger Venezianer, von 1602 bis 1605 für seinen Schwiegersohn Martin Peller im Stil der Renaissance errichten. Die beeindruckende Fassade unterschied sich deutlich von der Nürnberger Architekturlandschaft des 16. und 17. Jahrhunderts und erinnerte mehr an den aufwändigen Stil norddeutscher und niederländischer Handelshäuser.
Nach massiven Kriegszerstörungen wurde die Ruine zunächst gesichert, das angrenzende Imhoffsche Palais hingegen vollständig enttrümmert, um auf beiden Grundstücken ein neues Gebäude für die Stadtbibliothek und das Stadtarchiv planen zu können.
Die Sieger des "Ideenwettbewerbs für den Wiederaufbau des Egidienplatzgebietes", die Architekten Fritz und Walter Mayer, errichteten 1955/56 über der von ihnen rekonstruierten Renaissance-Halle des Pellerhauses eine Verwaltungsetage und den Magazinturm, während sie Treppenhaus und Lesesaaltrakt mit Ausleihe auf dem Nachbargrundstück anschlossen.
So entstand ein auch überregional beachteter, funktionaler Bibliotheks- und Archivkomplex, der nicht nur durch Farb- und Materialvorgaben des Wiederaufbauplans, sondern auch aufgrund des konsequenten architektonischen Konzepts exemplarisch die Nürnberger Baugeschichte der Nachkriegszeit tradiert und als Einzeldenkmal in die bayerische Denkmalliste eingetragen wurde.
Die Architektur der 50er Jahre beeindruckt noch heute. Besonders hervorzuheben sind die feine Detaillierung der Fassaden, die dynamisch gekurvte Führung der Treppe und der tageslichtdurchflutete ehemalige Lesesaal mit Open-Air-Freifläche.
In seiner "Positionsbestimmung Pellerhaus" stellt der BDA 2017 fest, dass viele Details der Original-Ausstattung, schlanke Stützen, elegante Metallfenster, Plexiglasbrüstungen auf der Lesesaal-Galerie, schwungvolle Handläufe und beeindruckend schlichte Türklinken, in gutem Zustand erhalten sind. Sie zeugen von der einfühlsamen Detailarbeit der Architekten, von deren Behutsamkeit und ihrem Gefühl für Proportionen sowie von der hohen handwerklichen Qualität der Bauausstattung in den 1950er Jahren. Hervorgehoben wird auch, dass der gut proportionierte Bibliothekskomplex städtebaulich einen exzellenten Abschluss des Egidienplatzes bildet.