Im Jahr 1866 lässt er das bis dahin wenig ansehnliche Herrenhaus von dem in Wismar geborenen Stararchitekten jener Zeit Heinrich Gustav Thormann, Schüler der Berliner Bauschule unter den Schinkel-Schülern Wilhelm Stier und Friedrich August Stüler, im schlossartigen Tudor-Stil neu errichten. Es entsteht ein geräumiger zweigeschossiger Putzbau, der hinter einem Karree aus alten Linden etwas erhöht stehend den Blick auf eine Freitreppe eröffnet. Hofseitig überragt ein Mittelrisalit mit einem Dreiecksgiebel und darin befindlicher Uhr das Dach. Dem Geschmack der Zeit folgend wird um das Haus ein Park mit Springbrunnen und langen Taxushecken angelegt.
1872 stirb Wilhelm Held. Beerbt wird er von seinem Sohn, Domänenrat Wilhelm Held (II), der ebenfalls ein erfolgreicher und passionierter Landwirt ist. Als auch er 1906 verstirbt wird Klein Roge von dessen Sohn Wilhelm Held (III) im Alter von nur 25 Jahren übernommen. Der für seine besonders liebenswürdige Art und Gastfreundschaft bekannte Wilhelm Held (III) lässt als einer der ersten im weiten Umkreis eine Anlage zur Gewinnung elektrischer Energie errichten. Ferner beauftragt er den Bau einiger der noch heute vorhandenen Wirtschaftsgebäude, so auch des heute ebenfalls unter Denkmalschutz stehenden Gebäudes Hof Nr. 3. 1921 stirbt Rittergutsbesitzer Wilhelm Held (III) infolge eines Zuckerleidens. Da er unvermählt und ohne Nachkommen geblieben war, verkaufen seine Schwestern das Gut.