Die erste urkundliche Erwähnung Schwarzau soll schon 863, als von einem „Suarzaha“ die Rede war, erfolgt sein. 1058 hieß es „Guzbretdesdorf“, 1083-1094 „Luizimannsdorf“ und 1251 „Swarza“. Nur schade, dass man vom Jahre 1152 von 1620 hier nirgends mehr ein Dokument über Ereignisse in Schwarzau auffinden kann, was wohl sehr wahrscheinlich vom Brand des hiesigen Pfarrhofes herrühren mag, bei welchem alle Urkunden und Bücher in Flammen aufgegangen sind.
 
Das Graf-Wurmbrandische Schloss war, seinem Ursprung nach, ein kleines kaiserliches Jagdschloss. Dieses Schloss, wie es gegenwärtig besteht, hat erst Johann Wilhelm Graf von Wurmbrand und Stuppach. Sein Majestät Reichs- Hofpräsident im Jahr 1697 erbauen lassen.
 
Als im Jahre 1848 der Untertanenverband aufgehoben und 1850 die Neukonstituie-rung der Gemeinde stattfand, hatte Schwarzau 472 Einwohner. Der erste Bürger-meister war Michael Blochberger. 1852, als die Gemeinden neu konstituiert wurden, war zunächst auch Guntrams eine eigene Gemeinde unter Bürgermeister Franz Linshalm.
Ein historisches Ereignis war der 26. April 1890, der Besuch des Kaisers. 1889 wur-de das Schloss durch den Herzog von Parma angekauft.
 
Das Schloss Schwarzau hat historischen Wert und beherbergte im Laufe des Jahr-hunderts die berühmtesten Geschlechter Österreichs, wie z.B. Wurmbrand, Hoyos, Habsburg, Bourbon und Parma.
 
Am 21. Oktober 1911 erlebte Schloss Schwarzau seine letzen Höhepunkte vor dem endgültigen Zerfall der Habsburger-Monarchie. An diesem Tag fand in Gegenwart des Kaisers Franz Joseph I. und des Erzherzogs Franz Ferdinand sowie zahlreicher
Fürstlichkeiten die  Hochzeit des Erzherzogs Karl Franz Josef mit Prinzessin Zita von Bourbon-Parma  statt.

Mit Ende der Monarchie waren auch die Glanzzeiten des Schlosses vorbei. Der letzte Besitzer, Prinz Elias von Parma, verkaufte im Jahre 1951 das Schloss dem österreichischen Justizministerium.