Al mismo tiempo, sirvió de residencia a varios monarcas, entre ellos el emperador Carlos V, que reformó y amplió su alcázar. Los locales continuaron dominando y, en un mal despeje de la defensa del Celta, el balón quedó a los pies de Enrique, que solo tuvo que empujarla para hacer el tercero. Este concejo mantuvo numerosos litigios con Segovia, por entonces una de las ciudades más influyentes de Castilla, por el control del Real de Manzanares, una vasta comarca, que, finalmente, fue cedida a la Casa de Mendoza.
