Det rosa envåningshuset, ritat av arkitekten Evert Milles – halvbror till Carl Milles – stod färdigt 1951. Det kom senare att kallas ”Annes hus”, uppkallat efter Anne Hedmark, som under många år arbetade som sekreterare och värdinna på Millesgården, och som flyttade in i huset efter Carls bortgång. Husets interiör, som än idag är bevarad i sitt ursprungliga skick, skapades av formgivarna Estrid Ericson och Josef Frank, grundarna av Svenskt Tenn. Under 1950-talet tillbringade även Carl och Olga Milles somrarna i huset när de besökte Millesgården. Carl Milles gick bort i sömnen den 19 september 1955 i Annes hus.