In 1593 kocht Commertgen Rijcken het logement ‘Het Casteel van Antwerpen’. Het pand strekte zich van de Oudegracht uit tot aan de Lange Elisabethstraat. Daar was de stalling voor paarden en koetsen. Met haar twee echtgenoten was Commertgen hier meer dan zestig jaar waardin. In deze jaren wist zij van de herberg een ‘herenlogement’ te maken, een logement voor de betere stand. Onder haar gasten was de schilder Pieter Paul Rubens uit Antwerpen.
In 1667 kochten Anthoni de With en zijn echtgenote Maeyke van Oostersee het logement. In dat jaar logeerde Cosimo de’ Medici in 'Het Casteel van Antwerpen’. Internationale gasten beschouwden dit logement als het beste in Utrecht.
In 1882 werd het logement uitgebreid met het pand aan de noordzijde en voorzien van een nieuwe gevel. Het pand heeft nu het adres Oudegracht 129. De oude gevelsteen is nog steeds te zien.
