Pałac usytuowany jest w centrum wsi Gorzanów, ciągnącej się wzdłuż rzeki Nysy Kłodzkiej. W pobliżu miejsca gdzie niegdyś stał średniowieczny zameczek, ówcześni właściciele tej części wsi, postawili około roku 1573, duży murowany zamek z wewnętrznym dziedzińcem, zapewne w stylu renesansowym. Nowy właściciel, H. F. Von Herberstein, dokonuje w latach 1653-1657 gruntownej przebudowy zamku na pałac barokowy. W tym przedsięwzięciu uczestniczą włoscy architekci pod kierownictwem włoskiego przedsiębiorcy budowlanego Carla Lurago. Działali tu sztukatorzy: D.Rossi i A. Galli, rzeźbiarze: C. Serena, i B. Spinetti jak i inni artyści włoscy.
