Hay que destacar este edificio como el más emblemático de la villa, por su gran peso histórico. Al igual que la ermita de San Román de Ajugarte, en la actualidad es propiedad privada, por lo que su restauración se ha complicado a lo largo de los años.
Edificio del siglo XVI, poseía cuatro plantas de sillería, con vanos de medio punto en las dos inferiores y vanos adintelados en las superiores, conservándose trazas interesantes en dichos elementos constructivos.
El Palacio albergó a diferentes personajes ilustres, ya que sus propietarios e impulsores, los Velasco, eran una familia muy importante en la época. Entre los visitantes más importantes que pasaron por Casalarreina, y se alojaron en el palacio de los Condestables, leyendas al margen, está el Papa Adriano VI, quien visitó la villa con motivo de la “inauguración” del Convento de la Piedad.
Existen varios estudios para la rehabilitación del edificio, como el realizado por la Universidad del País Vasco, que merecen la atención.
Hoy, debido a un derrumbe producido en el año 2008, la parte izquierda del edificio ha desaparecido. El Ayuntamiento desde entonces está haciendo todo lo que está en su mano para que se proceda a su rehabilitación por parte de sus propietarios (unos empresarios del País Vasco). Su estado anterior al derrumbe era el siguiente:
Así quedó, en junio de 2008, el estado del edificio.
