Beim Silbersee handelt es sich um einen Teil der Baugrube für das Deutsche Stadion, das der Architekt Albert Speer geplant hatte. Es sollte als "größtes Sportstadion der Welt" mehr als 400.000 Zuschauer fassen. Die Arbeiten wurden 1937 aufgenommen und mit Beginn des Zweiten Weltkriegs 1939 eingestellt. Danach füllte sich die Baugrube mit Grundwasser. Es entstand der Silbersee.

Das künstliche Gewässer stellt heute eine ökologische Altlast dar. Der benachbarte Silberbuck besteht aus dem Schutt der im Zweiten Weltkrieg zerstörten Südstadt, der Umwelt gefährdende Materialien enthielt. Aus der Hochdeponie sickert Wasser in den See, das mit giftigem Schwefelwasserstoff durchsetzt ist. Das Baden ist hier streng verboten.