Weizern war im 13./14. Jahrhundert der Mittelpunkt einer sehr kleinen Herrschaft mit einem niederen Ortsadel. Urkundlich fassbar sind noch Berthold (1257) und Konrad von Weizern (1294). Zuletzt erscheint 1337 ein weiterer Konrad, wohl der Sohn des ersteren.

Ihre "Burg" war eher eine mehr oder weniger befestigte Anlage, von der keine Reste mehr vorhanden sind.

Nachdem die Herrschaft Weizern noch im 14. Jahrhundert in der Herrschaft Eisenberg aufgegangen war, richteten die Freyberger später in Weizern ein Gericht ein. Dazu erbauten sie ein Amtshaus. , das 1598 erstmals Erwähnung findet:

der ambt hoff, welchen dißer zeit der amptman jnnen hat, gibt järlich ann gelt zwelff guldin, die werden aber ime weil er dienst hatt, ann seiner besoldung inngelassen 

Mit der alten Bausubstanz wurde 1711 dann von den Freybergern ein  barockes Schlössle errichtet. Handlangerdienste mussten dabei Untertanen aus der Herrschaft verrichten, die bei der Bezahlung ihrer Steuern im Rückstand waren.  

Nach dem Tod des letzten eisenbergischen Amtmannes Joseph Gauggenrieder 1818 kam das Schlössle in private Hände. Der Gutsbesitzer Wolfgang Geiger richtete hier im 19. Jahrhundert  eine Schlosswirtschaft ein, die bis 1979 bestand. 

Das Weizerner Schlössle kann nur von außen besichtigt werden.