Den stora huvudbyggnaden på Övre terrassen var makarna Milles hem och arbetsplats under 1910- och 20-talen. I slutet av 1930-talet öppnades huset för allmänheten i samband med att Millesgården donerades till svenska folket. Carl och Olga Milles bodde då i Amerika.
Makarna Milles smak och temperament kom till uttryck överallt i Millesgårdens inredning och konstsamlingar. År 1921 åkte Olga, Carl och Evert Milles, Carls bror som var arkitekt, tillsammans till antikens Pompeji i Italien. Pompejis romerska lämningar gjorde djupa intryck på dem och inspirerade till en rad omdaningar i nyklassisk anda på Millesgården under 1920-talet. Ett exempel är huvudbyggnadens solterrass som förvandlades till en elegant matsal, Galleriet. Carl och Olga la själva golvmosaiken, en komposition i svart och vit marmor.
Ett annat rum, tidigare inrett med allmogemöbler, omgestaltades till Röda rummet, med en konstrik golvmosaik och med väggarna marmorerade i pompejiansk röd stucco-lustro.
I den lilla Frukostvrån åt paret Milles frukost vid ett litet ekbord omgivna av blåvita Delftkakelväggar. Olga Milles målade vitrinskåpet i samma färger och med dekor lånad från det nederländska 1700-talskaklet. I vitrinen förvaras familjens fina samling av svenskt glas, tenn och keramik.
På andra våningen byggde arkitekt Evert Milles om ett rum, som tidvis tjänade som Olgas ateljé, till bibliotek. Evert ritade både skåp, bokhyllor och möblemang i nyklassicistisk anda. Det intilliggande sovrummet, uppvärmt av en kakelugn, inreddes med Karl-Johan möbler, medan badrummet fick vit marmor och stuckatur, inspirerad av etruskisk dekor.
Mellan 1931 och 1951 bodde Carl och Olga Milles i USA, där Carl Milles hade en professur i skulptur på Cranbrook Konstakademi. Under de åren tillbringade paret somrarna hemma på Millesgården så ofta som möjligt. År 1936 ombildades Millesgården till en stiftelse och skänktes till svenska folket.
Som förberedelse inför hemkomsten till Sverige 1950, ritade arkitekt Evert Milles i samråd med Carl Milles, en enplansvilla, Annes hus, för att ta emot konstnärsparet samt vännen och medhjälparen Anne Hedmark. Den i Österrike födde arkitekten Josef Frank ritade husets möbler, lampor och textilier försedda av Svenskt Tenns Estrid Ericsson. Carl Milles dog i sömnen den 19 september 1955 i Annes hus.