Het huis Oudegracht 120 kreeg in 1556 een nieuwe gevel ter ere van keizer Karel V. De bewoner, Frans van Nijenrode, was aanvankelijk een tegenstander van de keizer. In de woelige jaren 1525-1527 was hij betrokken bij het binnenhalen van de Gelderse troepen.
Om draagvlak te creëren voor zijn bewind, aarzelde keizer Karel V niet om ook voormalige tegenstanders bij het bestuur te betrekken. In 1527 kreeg Frans van Nijenrode kosteloos het burgerschap van Utrecht, alsof hij een geboren burger was. In 1528 benoemde de keizer Frans van Nijenrode tot schepen in het stadsbestuur. In 1530 werd hij ook raadsheer in het nieuwe Hof van Utrecht en dat bleef hij tot zijn dood in 1560. Frans van Nijenrode veranderde van een tegenstander in een trouwe aanhanger van de keizer en dat liet hij ook blijken. In 1556 verbouwde hij zijn huis aan de Oudegracht. In de nieuwe gevel plaatste hij een beeld van keizer Karel V en ook op de top van de gevel staat een beeld. Het huis kreeg de naam ‘De Keizer’.
De gevel uit 1556 is in 1868 gesloopt. De ornamenten behoren nu tot de collectie van het Centraal Museum.
