In de zomer van 1529 werd er hard gewerkt aan de bouw van Kasteel Vredenburg. Zo'n vierhonderd man was bezig met de sloop van kloostergebouwen zodat de stenen direct hergebruikt konden worden. Meer dan duizend mannen werkten aan de bouw van het kasteel: metselaars, oppermannen en timmermannen. Ze werkten veertien uur per dag. De lonen waren goed, zeker in vergelijking met andere bouwprojecten. Zo kreeg een metselaar bij de Vredenburg zes stuivers per dag, terwijl een metselaar bij de bouw van Dom maar vier stuivers per dag kreeg.
Om zo efficiënt mogelijk met zoveel personeel te kunnen werken, was er een goede organisatie nodig. Voor elke vijfentwintig werkmannen was een voorman aangesteld die ook de administratie bijhield. Die voormannen werden op hun beurt weer gecontroleerd door toezichthouders. De toezichthouders rapporteerden dan weer aan de directie en aan de architect, Rombout Keldermans. De commandant van het leger was ook regelmatig op de bouwplaats aanwezig. Hij had de beschikking over een galg en een geselpaal voor mannen die niet hard genoeg werkten.
Al na zes maanden kon het kasteel in gebruik genomen worden. De muren en vestingwerken aan de noordzijde, de oostzijde en de zuidzijde waren gereed, maar er was nog geen gracht. Uiteindelijk duurde de bouw van de Vredenburg tot in 1534.
