En marzo de 1468 Gonzalo Chacón toma posesión del palacio en nombre de la princesa Isabel "con sus casas, su torre e corrales e huerta e otras cosas", y en los años de su reinado son continuas las reparaciones y obras de toda condición realizadas en el palacio debido fundamentalmente a los materiales con que estaba construido, en su mayor parte ladrillo, tapial y madera. En cuanto a los artífices de estas obras de reforma, aparecen citados en la documentación los nombres de los maestros Juan de Talavera (en 1498), Pedro de Malpaso (en 1503 y 1504) y Jerónimo de Palacios (en 1504).

En las décadas siguientes a la muerte de la reina, el edificio es poco menos que abandonado, circunstancia que origina el deterioro de sus fábricas, confirmado en 1524, año en que sabemos que son muchos los reparos necesarios "para que se pueda sostener, que no se caya e hunda". Ante esta situación, se encarga a los maestros Esteban de Baños y Francisco González de Zorita un reconocimiento preciso de las estancias y una valoración económica de las obras de restauración, estimando un costo cercano a los 462.000 mrs.; las conclusiones se remiten al Real Consejo "para que se platyque qual sea mejor reparalla o vendella o dalla por propios a la villa". En 1547, el Ayuntamiento de la villa solicita celebrar sus reuniones en estas casas durante los tiempos de feria y establecer en ellas el Peso Real, consiguiendo el correspondiente permiso por cédula de 5 de febrero de ese año, pero con la oposición del regidor Francisco Díez del Mercado al considerar inadecuado ese uso para una casa tan noble "por mas no fuese de aver muerto en ella la muy alta e muy poderosa y esclarescida Reyna Doña Ysabel". De 1575 data un proyecto para convertir lo que queda del edificio en una alcaiçería o lonja para mercaderes y, de este modo, concentrarlos a todos -se prevé alrededor de un centenar de puestos de venta- en un mismo lugar y conseguir más fácilmente el cobro de impuestos y alcabalas. El plano de este proyecto nos indica cuál era el estado del palacio en aquellos momentos, señalándose varios espacios originales del mismo que, según parece, se quieren respetar, como el "zaguán" de entrada desde la Plaza Mayor, la denominada "lonja" o primer patio porticado, y, tras ella, la "Sala Real vieja que está para se caer" y "la quadra y torre", estancias contiguas a un pasillo llamado en el plano "entrada a las tiendas".

De esas décadas conocemos el aspecto exterior del conjunto edificado, gracias a la vista urbana de Medina de 1565 realizada por Anton Van den Wyngaerde; en ella se adivina su originario aspecto defensivo, descollando en su fachada principal, hacia la plaza, un sólido cuerpo principal cubierto a cuatro aguas, a modo de gran torreón, provisto de portada de acceso de medio punto coronada por lo que parece ser un gran escudo o un balcón centrado con dos ventanales en los flancos y otras dos ventanas en la tercera de las plantas, con un corredor superior de cinco vanos que serviría como elemento de vigilancia. El conjunto estaría en su mayor parte construido en ladrillo, tapial, adobe y madera como era frecuente en las casas palacio de esta época y tipología, ornamentándose sus estancias principales con las yeserías y alicatados, ya comentados, y fastuosos artesonados y armaduras de madera sobredorada.

Durante el siglo XVII se realizan diversas obras: primero en 1602, con la consolidación de estructuras y reparación de tejados de la torre principal y la "de adentro", arreglo de los suelos y cubiertas de varios corredores y el derribo del segundo piso de los mismos, todo ello a cargo del maestro Mateo Gómez; más adelante, en 1659, consta la intervención del Ayuntamiento intentando apuntalar lo que quedaba de la torre principal, pero las obras de mayor envergadura se llevan a cabo a partir 1673, año en que Carlos II cede el uso de las salas con vistas a la plaza al Cabildo Mayor, alterando la imagen que hasta entonces había tenido el edificio con la renovación de dichas estancias y la fachada, en la cual se instala, al igual que en la contigua Casa de los Arcos, una balconada corrida para que los beneficiados parroquiales pudieran presenciar los actos públicos. Quizá, otras dependencias, probablemente las situadas hacia la esquina de la plaza, fueran entonces cedidas al Concejo para destinarlas a cárcel; al menos, así consta en el texto de una lápida que se encuentra actualmente en el zaguán de entrada al edificio, que reza: