Este edificio destaca sobre el resto como el más emblemático del municipio ya que posee un gran peso histórico. En la actualidad el Palacio es propiedad privada, como otros diferenciados edificios de Casalarreina, por lo que su restauración se ha complicado a lo largo de los años. El 12 de junio de 2008 la fachada principal del Palacio sufre un derrumbamiento durante la realización de las obras de restauración.
Es una construcción del siglo XVI que poseía cuatro plantas de sillería, con vanos de medio punto en las dos inferiores y vanos adintelados en las superiores conservándose trazas interesantes en dichos elementos constructivos. Aunque no se puede confirmar, hay documentos que aseguran que el Palacio albergó a la reina Juana La Loca y también al Papa Adriano VI, quien visitó la villa con motivo de la bendición del Convento de la Piedad.
Es entre el 13 y el 14 de 1522 se aloja en este Palacio, Adriano , conocido como Adriano de Utrech y posteriormente coronado como el Papa Adriano VI en su camino hasta Roma para tomar posesión de la Cátedra de San Pedro. Siendo la primera jornada en la Rioja, para continuar por Santo Domingo de la Calzada, Nájera, Logroño, Navarrete – donde no entró debido a estar retenido el obispo de Zamora, dentro de la Guerra de las Comunidades de Castilla- continuando a Alcanadre, Calahorra y saliendo de la Rioja por Alfaro.
El 2 de octubre de 1626 fallece Diego Sarmiento de Acuña I Conde de Gondomar el Maquiavelo español, alojado en “la casa del Condestable de Castilla, el VI Duque de Frías”.
En La Rioja hay 41 fortalezas inventariadas, la Casa Palacio del Condestable una de ellas.
