Z původní dřevěné boudy vznikla hospůdka "Modrá koule". O kousek dál pan Schütz postavil jednoduchý cihlový dům a restaurace byla na světě. Dále přistavěl půlkulatou stavbu pro opičky, které přitahovaly hlavně dětské návštěvníky.

Celý podnik poté převzal syn Emil Schütz, který nechal postavit masivní budovu, v přízemí s klenutými stájemi a stáními pro koně, v patře taneční sál, hostinský pokoj a kuchyň. Celý objekt se stavěl podle projektu stavitele Josefa Gube ze Šluknova.

V roce 1910 či 1911 finanční důvody donutily rodinu zříci se díla a Karlovo údolí předává městu Šluknovu. Budova restaurace se poté začíná rychle měnit. Původní restaurace s tanečním sálem se proměnila v moderní lázeňský hotel s terasou.

Ke Karlovu údolí patřil i rozlehlý park s vodotryskem, rybník s loďkami, pstruhový rybník, plamový háj, lesní divadlo, dětské hřiště, letní sáňkařská dráha.

V roce 1949 prodal Šluknov Karlovo údolí Dopravním podnikům hlavního města Prahy. Nikdo, bohužel, tehdy ještě netušil, že je to začátek konce tohoto oblíbeného výletního místa. V říjnu 2008 se majitelkou stala paní Danuše Kozlová z Kladna. Nikdo se však dodnes o majetek nestará, a protože je celý areál volně přístupný, je budova rozebírána a devastována.