Der Bau des Schlosses begann möglicherweise 1786, das heißt im Todesjahr Friedrichs des Großen, möglicherweise aber auch schon früher, denn laut Theodor Fontane (in Wanderungen durch die Mark Brandenburg, Band 2) soll Friedrich der Große bemerkt haben, „Er baut ja ein Schloss! Er will ja hoch hinaus!“, woraufhin Joachim Bernhard von Prittwitz auf die Beletage verzichtet haben soll und es bei einer eingeschossigen Dreiflügelanlage mit hohem Mansarddach beließ. An der Innenausstattung war Carl Gotthard Langhans beteiligt. 1792 wurde im Park nach Entwürfen von Johann Wilhelm Meil (1733–1805) ein Denkmal für Friedrich den Großen errichtet.Joachim Bernhard von Prittwitz, Rittmeister der Zietenschen Husaren, hatte den Herrensitz Quilitz, wie er damals hieß, am 18. April 1763 als Dank für die Rettung Friedrichs in der Schlacht bei Kunersdorf (1759) als königliche Dotation erhalten. Wenig später begannen die Schlossarbeiten. 1811 wurde Quilitz wieder an die königliche Krone zurückverkauft. Am 11. November 1814 gab König Friedrich Wilhelm III. von Preußen Ort und Schloss als königliche Dotation seinem im Juni..