El origen del Castillo de Dénia se remonta a la época romana. En la Torre del Galliner, la parte oriental del Castillo, podemos reconocer las esculturas de esta época.

El diseño original del Castillo tiene lugar cuando la península ibérica estaba bajo el dominio musulmán. Durante la época musulmana, el castillo sirvió como una fortaleza defensiva y un punto de control estratégico. El Castillo se dividía en dos recintos; en la parte superior encontrábamos la Alcazaba o el palacio árabe, mientras que la parte inferior se llamaba Al-bacar y se usaba como la zona para el pasto y el resguardo del ganado.

Durante la época cristiana, entre los siglos XVI y XVII, en la actual Explanada del Gobernador, podíamos encontrar la residencia temporal del V Marqués de Dénia, del Duque de Lerma y del rey Felipe III. Más tarde, en el siglo XVIII, Jaume I ordena a los habitantes de Dénia a trasladarse y construye la Vila Vella, que permanece como núcleo urbano hasta la Guerra de Sucesión.

En los muros y sus 5 torres semicirculares del Palau, junto al Museo Arqueológico, podemos encontrar restos del Palau Vell. Mientras que, en el Museo Arqueológico, encontramos restos del Palau del Marqués de Dénia y de la escalinata “a la imperial” caracterizada por su forma de T invertida.

En el siglo XIX, el castillo deja a un lado su funcionalidad defensivo-militar para dedicarse al cultivo privado de la pasa hasta el siglo XX que volvió a ser de uso público.