Slottet var en bryllupsgave til Caroline Mathilde i 1766, men historien fik allerede sin bratte afslutning i 1772 ved endnu et maskebal. Struensee blev pågrebet og endte sit liv på hjul og stejle, og Caroline Mathilde blev sendt i fangenskab i Celle i Tyskland, hvor hun afsluttede sit korte liv.

Kongefamilien med Struensee som det tredje ben i ægteskabet fra 1770 havde de sidste somre opholdt sig på Hirschholm Slot. For at komme uset til Frydenlund anlagde Struensee og dronningen Caroline Mathilde Stien, som helt privat kunne transportere den kongelige rytter og hendes elsker mellem Frydenlund og Hirschholm, da den almene befolkning ikke havde adgang til at benytte stien.

Dronningen havde allerede inden Struensees ankomst til hoffet givet landet en tronarving, den senere Frederik VI, men den lille prinsesse Louise Augusta blev født i 1771 og er højst sandsynligt undfanget på Frydenlund og blev med stor forargelse kaldt for ”Petit Struensee” i samtiden.

Både Hirschholm Slot og Frydenlund blev efter den nationale katastrofe upopulære som krongods. Hirschholm Slot sank i grus i fornedrelse over sin skæbne. Mosegrunden tog villigt imod Thuras pragtslot, og resten klarede de omkringliggende bønder og andre, som gerne ville erhverve sig en ovn eller et dørstykke fra det smuldrende slot.

Frydenlund var bygget på en mere solid grund, det forfaldt, men klarede at stå til endnu et dramatisk, om end ikke fuldt belyst kapitel i lystslottets historie.

I 1793 solgte kronen Frydenlund til den svenske hofsekretær C. A. Boheman. Om denne skikkelse er der spredte, men eventyrlige efterretninger, hvor nogle er så eventyrlige, at de måske snarere er gjort af mytestof.

Boheman var født ind i en håndværkerfamilie, men var som ung kommet til penge. Der er flere forsøg på forklaringer. Boheman var tidligt blevet interesseret i mystik og okkultisme og kom i denne forbindelse i kontakt med en hovedrig engelsk frimurer. Boheman blev forlovet med dennes søster, som imidlertid døde kort efter og efterlod en anselig formue til sin forlovede.

Derudover skulle Boheman sammen med Marie Antoinettes elsker, den svenske greve Axel von Fersen have deltaget i at eskortere den kongelige familie under deres flugtforsøg. Den kongelige familie blev dog pågrebet og ført tilbage til Paris.

Ludvig XVI blev guillotineret, og dronningen blev fængslet og henrettet otte måneder senere i oktober 1793. Det bemærkelsesværdige var, at kronjuvelerne var med på flugten, men ikke kom med tilbage til Paris.

Boheman lod hovedbygningen ombygge i 1790’erne. Man mener, at denne gennemgribende ombygning, som kun bevarede det ottekantede lystslots runde kerne blev foretaget af Københavns stadskonduktør J.H. Rawert.

Ombygningen er i klassicistisk stil. I huset hænger et meget karismatisk portræt af Carl Adolf Boheman, sandsynligvis malet af C.A. Lorentzen. Portrættet er fulgt med huset fra generation til generation.

Der er mange historier om Boheman og mange spørgsmål. Sikkert er det, at han opnåede både at blive udvist af Sverige og af Danmark for landsskadelig virksomhed, som havde med hans dybe involvering i frimurervæsnet og det okkulte at gøre. Han var tildelt frimureriets højeste grad. I Sverige var kongen urolig over Bohemans store indflydelse på kronprinsen og eventuelle medlemskab af Illuminati og denne samlingsordens konspiratoriske virksomhed. Som en adoptions orden af logen DELU (deus est lux universalis) stiftede Boheman sin egen loge, Gule Rose, som rummede medlemmer af begge køn.

Han byggede efter sigende et grottesystem under Frydenlunds have med skrin og relikvier og bl.a. med deltagelse af kongefamilien og den danske statsminister greve Bernstoff i seancerne.

I 1803 flygtede han over hals og hoved fra Danmark, og mon der var tid til at pakke alle juvelerne ned? I 2018 blev 10 stk kronjuveler imidlertid solgt på auktion. De havde hidtil været gemt af vejen for offentligheden i samlingen hos Bourbon-Parma slægten i Italien. Men der var jo kun 10 stk., så naturligvis holder vi på Frydenlund meget af historien om flugten og kronjuvelerne, som i hast måtte lades tilbage, og vi håber stadig, vi en dag støder på nogle af dem.

Rawerts hovedhus er bl.a. blevet restaureret i 1907 ved Carl Brummer, men fremstår stadig som et smukt centrum i en have, som både har mindelser om den oprindelige barokhave, af Bohemans mere romantiske havesyn samt af skiftende ejeres smag og behov.

Efter de dramatiske og eventyrlige historier fra 1700- og 1800-tallet har Frydenlund ført en mindre eksponeret tilværelse og været på utallige private hænder. I 1950’erne var Frydenlund dog nogle få år ramme om showbiz, fest og humør, da pianisten Victor Borge ejede Frydenlund.  I 1960 overtog civilingeniøren og erhvervsmanden Haldor Topsøe og hans hustru Inger landstedet, som efter Haldors død i 2013 drives i Topsøe familiens regi.