Forteresse du XVe siècle, palais urbain des Borgia et plus tard résidence mondaine des ducs de Osuna, ce palais a été plusieurs fois remanié et redécoré. Il allie la grandeur militaire médiévale au luxe provincial méditerranéen. Racheté par l’ordre des Jésuites, qui sont à leur tour intervenus dans son ornement, c’est aujourd’hui un musée et un collège privé.
Il faut comprendre le palais ducal de Gandia comme la volonté de démontrer d’une manière éclatante la puissance de la Maison de Borgia dans l’Espagne du XVe siècle. 

Avant de devenir le pape Alexandre VI, le cardinal romain Rodrigo Borgia acquiert le duché de Gandia pour Pier Luigi son fils aîné. C’est une ancienne seigneurie royale de la Couronne d’Aragon. Il souhaite établir sa descendance durablement et au plus haut niveau, dans sa nation d’origine, le royaume d’Aragon. Pour le situer, Pier Luigi (Pedro Luis de Borja)  »Camerlingue des Rois catholiques » était le demi-frère de César et de Lucrèce.
Curieusement, cette forteresse de puissance et d’orgueil abritera au XVIe siècle la sainteté de l’un des descendants, saint François de Borgia. Ce grand seigneur de la Cour de Charles Quint, vice-roi de Catalogne et 4e duc de Gandia, va renoncer au tumulte du monde pour se dédier à la vie monastique sous l’habit franciscain. Contemporain et proche d’Ignace de Loyola dont il diffuse les Exercices spirituels, il est l’un des fondateurs des Jésuites.
Il sera Supérieur général de cet Ordre.