Dicha finalidad perduró en el tiempo, ya con la regente María Cristina y posteriormente con Alfonso XII y Alfonso XIII.

Su último inquilino oficial fue Francisco Franco, quien tomó el palacio como casa de descanso estival. De aquí partió a la célebre reunión de Hendaya con Hitler y, concretamente en el comedor de los duques de Bailén, el dictador tomó una serie de decisiones para ajustarse a la nueva situación internacional tras la derrota del Eje. Al menos en un par de ocasiones estuvo a punto de ser víctima de un atentado en el edificio.

Tras la defunción del dictador comienza la «otra historia» del palacio. El Ayuntamiento reconvirtió el edificio en residencia de aquellos personajes ilustres que visitasen la ciudad. El primero en llegar fue el ya fallecido actor Anthony Quinn, que a las siete de la mañana estaba a las puertas del palacio, con la intención de no pisar el lugar nunca más. A la mañana siguiente, cuando sus «cicerones» pasaron a recoger a tan ilustre huésped, Quinn les relató cómo en aquel edificio había pasado la noche más terrorífica de su vida.

Según el testimonio del actor, desde la cama pudo escuchar el sonido de pasos en los pasillos y luego lo que describió como «un trasiego de fantasmas».

Tras el paso de Quinn, el edificio quedó deshabitado y así continúa hoy en día. De todos modos, en la actualidad el Ayuntamiento sigue empleando a operarios para que limpien las estancias y mantengan cuidados los jardines del palacio. Éstos también han sido testigos de presencias fantasmales en tan emblemático lugar.

En un reportaje publicado en «El Diario Vasco» diversos encargados de la limpieza aseguraban haber sentido la presencia de «entes invisibles», tanto en los pasillos como en las señoriales escalinatas del edificio. Algunos relataban que se habían sentido observados, sin que hubiera nadie en las estancias, además de escuchar todo tipo de sonidos misteriosos. Más o menos los mismos fenómenos que años atrás había descrito Anthony Quinn.