In de zomer van 1529 werd er hard gewerkt aan de bouw van de Vredenburg. Zo'n 400 man was bezig met de sloop van de kloostergebouwen. De stenen konden direct hergebruikt worden. Meer dan 1000 mannen werkten aan de bouw van het kasteel, metselaars, oppermannen en timmermannen. Ze werkten veertien uur per dag. De lonen waren goed, zeker in vergelijking met andere bouwprojecten. Zo kreeg een metselaar bij de Vredenburg 6 stuivers per dag, terwijl een goed betaalde metselaar bij de bouw van Dom maar 4 stuivers per dag kreeg. Een opperman kreeg bij de Vredenburg 4 stuivers per dag, bij de Dom tweeëneenhalve stuiver.
Om zo efficiënt mogelijk met zoveel personeel te kunnen werken, was een hele organisatie nodig. Op elke 25 werkmannen was een voorman aangesteld die ook de administratie bijhield. Die voormannen werden op hun beurt weer gecontroleerd door toezichthouders. De toezichthouders rapporteerden dan weer aan de directie en de architect, Rombout Keldermans. De commandant van het garnizoen was regelmatig op de bouwplaats aanwezig. Hij had de beschikking over een galg en een geselpaal voor mannen die niet hard genoeg werkten.
Al na zes maanden kon het kasteel in gebruik genomen worden. De muren en vestingwerken aan de noordzijde, de oostzijde en de zuidzijde waren gereed, maar er was nog geen gracht. In de winter lag de bouw stil omdat er met vorst niet gemetseld kon worden. De bouw van de Vredenburg duurde tot in 1534.
