Im Jahre 1600 erwarb der Kaufmann Martin Peller am Egidienberg ein Anwesen der Nürnberger Patrizierfamilie Groland. Er ließ es abreißen und an seiner Stelle ab 1602 ein repräsentatives Wohn- und Geschäftshaus errichten. Streitigkeiten mit Nachbarn und dem Nürnberger Rat verzögerten den Abschluss des Baus bis 1607. Peller, der bis zum Tod seines Schwiegervaters Bartholomäus Viatis in dessen Anwesen an der Barfüßerbrücke wohnhaft blieb, bezog das Haus erst 1625 und lebte dort bis zu seinem Tod im Jahre 1629. Das prunkvolle Gebäude verblieb bis 1828 in den Händen der Familie Peller und gelangte dann über einige Umwege schließlich an den Möbelfabrikanten Johann Adam Eysser.
Von Eyssers Nachfahren erwarb 1929 die Stadt Nürnberg das Haus, um dort das Stadtarchiv unterzubringen. Zu diesem Zeitpunkt galt das Pellerhaus bereits als eine der schönsten Sehenswürdigkeiten Nürnbergs und aufgrund seines prunkvollen Innenhofs gar als eines der bedeutendsten Baudenkmäler der deutschen Kunstgeschichte.
Während der Luftangriffe im Zweiten Weltkrieg wurde das Pellerhaus bis auf den Keller, wenige Teile des Erdgeschosses und den Treppenturm jedoch fast vollständig zerstört. Aus Kostengründen entschied man sich frühzeitig gegen einen kompletten Wiederaufbau und konservierte nur die Bogenwände bis einschließlich des ersten Obergeschosses. 1957 wurden diese in den als Bibliothek geplanten Neubau von Fritz Mayer integriert, welcher in den folgenden Jahrzehnten unter anderem das Stadtarchiv (bis 2000) und eine Zweigstelle der Stadtbibliothek (bis 2012) beherbergte. 1998 wurde das Pellerhaus unter Denkmalschutz gestellt.
Seit dem Auszug der Stadtbibliothek im Jahr 2013 befindet sich dort der Sitz des Deutschen Spielearchivs Nürnberg. Im Zuge dieser Nutzung übernahm der Verbund der Museen der Stadt Nürnberg die Verwaltung des Gebäudes, das neben dem Archiv noch weitere Mieter beherbergt. Der nächste Schritt für das Pellerhaus waren die Planungen für das Haus des Spiels, als eine der zentralen Kultur- und Begegnungsstätten Nürnbergs.