Zespół wypoczynkowy na stokach Zadniego Gronia założyli w II połowie XIX w. Habsburgowie, którzy w tej części Beskidu Śląskiego organizowali chętnie polowania na głuszce. W 1907 r. arcyksiążę Ferdynand polecił wybudować tutaj drewniany, modrzewiowy pałacyk myśliwski. Obiekt wzniesiono w modnym wówczas stylu szwajcarsko-alpejskim. Wewnątrz znajdowało się 30 pokoi. Fryderyk i Izabela Habsburgowie ze swoimi gośćmi przebywali w Wiśle 3 razy w roku. Równolegle z pałacykiem od przełęczy Kubalonka do rezydencji wybudowana została droga dojazdowa. W 1909 r. wzniesiono drewnianą kaplicę. Hbsburgowie użytkowali "Zameczek" do 1917 roku.
W 1918 r. tereny Wisły znalazły się w granicach II Rzeczpospolitej. W 1927 r. podjęto decyzję o wyremontowaniu pałacyku i przeznaczeniu go na wypoczynkową rezydencję prezydentów II Rzeczpospolitej. Niestety przed ukończeniem remontu pałacyk padł ofiarą pożaru. Wówczas Sejm Śląski i wojewoda Michał Grażyński zdecydowali o odbudowie obiektu i rozbudowie całego założenia. Opracowanie projektu nowego, tym razem murowanego "Zameczku" powierzono architektowi Adolfowi Szyszko-Bohuszowi, który zaprojektował również kordegardę straży prezydenckiej i założenie parkowe. Budowa trwała od lipca 1929 do grudnia 1930 roku. Przy budowie zatrudnieni byli miejscowi robotnicy oraz firmy z Bielska i Katowic.
Po raz pierwszy prezydent Ignacy Mościcki przybył do nowej rezydencji 21 stycznia 1931 roku, później do wybuchu wojny przebywał tam dwa razy w roku. W czasie okupacji hitlerowskiej utworzono tam ośrodek wypoczynkowy dla NSDAP i Gestapo. Po II wojnie Światowej "Zameczek" znowu był rezydencją prezydenta (wówczas był nim Bolesław Bierut), a w 1948 roku przeszedł w posiadanie Urzędu Rady Ministrów PRL. Bywali tu m. in. Władysław Gomułka, Piotr Jaroszewicz, Józef Cyrankiewicz, Edward Ochab, Edward Gierek i Jerzy Ziętek. W 1981 roku ówczesny premier Wojciech Jaruzelski przekazał obiekt Kopalni Węgla Kamiennego im. XXX-lecia PRL w Jastrzębiu-Zdroju. Zorganizowano w górnym zamku i kordegardzie ogólnodostępny ośrodek wczasowy.
W 2002 zamek został na powrót przejęty przez Kancelarię Prezydenta RP. Remontowany w latach 2003–2005 z jednoczesną przebudową obiektów towarzyszących. Oddany do ponownego użytku w 2005 roku. Obecnie Zamek Górny, oprócz funkcji reprezentacyjnych i wypoczynkowych dla prezydenta RP, jest także udostępniany zwiedzającym. Zamek Dolny (dawna kordegarda) i Gajówka, poza okresami kiedy w rezydencji przebywa Prezydent RP lub jego goście, pełnią funkcje hotelowo-konferencyjne i są ogólnodostępne.

Opis głównie na podstawie Karty zabytku ze strony www.zabytek.pl