In 1593 kocht Commertgen Rijcken het hotel Het Casteel van Antwerpen. Het pand strekte zich van de Oudegracht uit tot aan de Lange Elisabethstraat.; daar was de stalling voor paarden en koetsen. Commertgen hier meer dan zestig jaar waardin, de gastvrouw van een herberg of hotel. In deze jaren wist zij van dit logement een ‘herenlogement’ te maken, een overnachtingsplaats speciaal voor de hogere stand, die wat meer geld hadden. Onder haar gasten was de schilder Pieter Paul Rubens uit Antwerpen.
In 1667 kochten Anthoni de With en zijn echtgenote Maeyke van Oostersee het logement. In dat jaar logeerde Cosimo de Medici, van de rijke Italiaanse Medici-familie in 'Het Casteel van Antwerpen’. Internationale gasten beschouwden dit logement als het beste in Utrecht.
In 1882 werd het logement uitgebreid met het pand aan de noordzijde en werd het ook voorzien van een nieuwe gevel. Het pand heeft nu het adres Oudegracht 129, waar je de oude gevelsteen nog steeds kan zien.
