Konstnärsparet Carl och Olga Milles köpte 1907 en tomt på Herserudsklippan högt ovanför Värtan på Lidingö. Deras önskan var att bygga ett hem med tillhörande konstateljéer. Huset ritades av arkitekten Carl M. Bengtsson och byggdes 1908. Under det följande halvseklet utvidgades och utvecklades Millesgården i samarbete med Carl Milles halvbror, arkitekten Evert Milles.
Åren 1911-13 gjordes den första tillbyggnaden, en friluftsateljé i form av en loggia, ägnad att förbättra Carls arbetsmiljö. Skulptören hade insjuknat i svår stenlunga orsakad av att han andats in damm under stenhuggningen.
Då Carl Milles inkomster från skulpturbeställningar ökade under 1920-talet, förvärvades angränsande tomtmark efter klippans sydsluttning. Vid tillkomsten av mellersta terrassen blev skulpturträdgården större och ännu en skulpturverkstad, Lilla Ateljén, byggdes.
Under paret Milles tid i USA 1931-50, avtog byggtakten på Millesgården. Evert Milles utförde dock nya planritningar i avvaktan på kommande utbyggnadsprojekt.
År 1936 gjordes Millesgården om till en stiftelse som överlämnades som gåva till svenska folket.
Inför parets hemkomst till Millesgården 1950, inleddes anläggningen av den stora Nedre terrassen med monumentala repliker av fristående skulpturer och fontängrupper från USA och Sverige. Den nedre terrassen, med parets nya bostad Annes Hus, ritad av Evert Milles, var i stora drag klar vid Carl Milles bortgång den 19 September 1955.