Bij hun tochten door het Gooi waren de heren Huydecoper en Laan zeer gecharmeerd geraakt van een mooi plekje op een hoog maar bescheiden heuveltje met een prachtig uitzicht over de omgeving. Dat bewuste plekje lag ergens tussen de huidige Dwarslaan en Paviljoenweg. In 1836 besloten ze het stukje grond te kopen om er een theehuis voor eigen gebruik te bouwen. Het paviljoen werd echter niet vaak door beide heren bezocht. Ze hadden het veel te druk met hun zakelijke belangen elders. Bovendien kwam er van Koninklijke zijde belangstelling voor het “theehuis”. Koningin-Moeder Anna Paulowna woonde sedert de dood van haar echtgenoot Koning Willem II in Paleis Soestdijk. Op mooie zomerse dagen maakte zij vele tochten door het Gooi en zo kwam ze ook bij het paviljoen. Zij vond het theehuis erg mooi en vooral de vergezichten boeiden haar zeer. Na enige tijd werd het paviljoen door haar gekocht. Een huisbewaarder werd aangesteld en als niemand van de Koninklijke Familie aanwezig was, dan kreeg het publiek de gelegenheid iets te gebruiken en te genieten van het schitterende panorama. Later kwam het bij erfenis in handen van Koningin Sofie, de echtgenote van Koning Willem III. Ook Koningin Regentes Emma en de nog jonge Prinses Wilhelmina bezochten het paviljoen op gezette tijden. Deze Koninklijke bezoeken waren goed voor het dorp; het trok veel toeristen aan, die allemaal het paviljoen wilden bekijken. Zelfs de latere koningin Wilhelmina kwam, toen het paviljoen al weer verkocht was, nog regelmatig door Blaricum om bij het paviljoen de thee te nuttigen. Een zeer zwarte bladzijde in de geschiedenis van het paviljoen was een vechtpartij met dodelijke afloop. Een groep ruziezoekende Huizer jongelui sloeg de boel kort en klein toen de waard, de heer Remmerde, weigerde drank te schenken. Tijdens de vechtpartij viel onder de jongelui een dode doordat de heer Remmerde ter verdediging een pistoolschot loste. De rust keerde pas terug toen de militairen van het Kamp Crailo de orde hersteld hadden. Hoewel het na deze gebeurtenis niet meer zo goed met de exploitatie van het theehuis ging, duurde het nog geruime tijd voor de slopershamer er aan ter pas kwam. Dit uitstel werd veroorzaakt door het drukke tramverkeer uit Amsterdam. Vele dagjesmensen bezochten Blaricum en dus ook het paviljoen. Maar door ouderdom kraakte het gebouw in al z’n voegen, zodat er uiteindelijk, in 1912, niets anders overbleef dan sloop. Er kwam geen nieuw gebouw voor in de plaats. Jaren later werd de grond verkocht en de Huizerweg en het Huizerhoogt kwamen vol te staan met villa’s en landhuizen.