Østfløjen er den der er bygget først. Den er den højeste af de fire fløje, og er flankeret af to kuppelformede tårne. Det bemærkelsesværdige ved den fløj er at den oprindeligt er opført med en åben loggia (søjlegang) ind mod gården. Den blev dog hurtigt muret til - sikkert efter den første danske vinter. Man må alligevel beundre, at arkitekten har været i stand til sælge ideen om en åben loggia til danske ridder Jørgen. Står man i gården kan man stadig tydeligt se hvor åbningerne har været.
Omkring 1570 er vestfløjen blevet bygget, d.v.s. at de to fløje ikke hang sammen i starten. Et par gange henover gårdspladsen en kold vintermorgen, har sikkert været en af grundene til, at der relativt hurtigt blev ændret på dette, og indenfor de næste ti år blev de to sidefløje føjet til. I 1580 har Rosenholm således fået den form som man stadig ser i dag.
