Conjunt construït pels Calatayud, barons d’Agres i Sella des de 1507, com a símbol del domini senyorial d’aquestes terres. La Torre es va edificar entre 1530 i 1563 per Gaspar Calatayud, segon baró de Sella, per a la defensa i custòdia de la baronia i dels seus pobladors “amb pedra picada, cal i canto i fusta”. Conté una porta d’estil gòtic i la planta baixa va ser emprada com a presó. El Palau és posterior, dels segles XVII o XVIII i està dotat d’un pati interior i antigues finestres que donaven a l’església, donant sentit al conjunt Torre-Palau-Església que domina el nucli urbà. Els seus baixos estan ocupats per un Casino, possiblement des de finals del segle XIX. Este conjunt monumental és BIC (Bé d’Interès Comunitari) i es troba catalogat com a Bé de Rellevància Local (BRL).