Het monumentale pand van het Krügerhaus is gelegen aan de Schlossplatz. Dit huis werd tussen het kasteel en de stadsmuur gebouwd door de architect Rudolph von Bünau in 1510-1512. Hij was ook de eerste bewoner van het huis. Hierna woonden ook onder andere de familie von Schönberg in deze woning. De keurvorst Johan Georg II kocht het huis in 1676 en hij gebruikte het als kantoor. Tot aan de 20e eeuw werd het pand gebruikt als administratieve zetel, waaronder voor de belastingdienst. Ten tijde van de DDR werd het Krügerhaus weer gebruikt als woonhuis, maar de laatste bewoners verlieten het inmiddels vervallen huis in 1997.
Nadat het pand enkele jaren leeg heeft gestaan, kocht Peter Krüger het pand in 2006 en vestigde hij de Dr. Erich Krüger Foundation hier. Hij wilde graag dat Freiberg het historische pand kon behouden en liet het pand renoveren. Na zijn dood in 2007, liet zijn vrouw Erika Krüger de renovatie doorzetten. Het huis werd op 5 oktober 2012 plechtig geopend als een tentoonstelling. Tegenwoordig is er een permanente tentoonstelling te zien van mineralen die gevonden zijn in Duitsland.
Nog geen reacties