Det rosa envåningshuset på nedre terrassen ritades av arkitekten Evert Milles – Carl Milles halvbror. Det stod färdigt 1951, när paret flyttat tillbaka till Europa efter åren i Amerika. Husets interiör, som än idag är bevarad i sitt ursprungliga skick, skapades av den i Österrike födde arkitekten och formgivaren Josef Frank och Estrid Ericson, grundaren av Svenskt Tenn. Under 1950-talet tillbringade Carl och Olga Milles somrarna i huset när de besökte Millesgården. Carl Milles gick bort i sömnen den 19 september 1955.
Det kom senare att kallas ”Annes hus”, uppkallat efter Anne Hedmark, som under många år arbetade som sekreterare och värdinna på Millesgården, och som flyttade in i huset efter Carls bortgång.