czterokrotnie żonaty: 1. Nora Ann Simmonds (od 1951), dziecko; 2. Tarn Bassett (1956 - 1967), dziecko; 3. Maggie Smith (29.06.1967 - 06.05.1974, rozwód), 2 synów: Chris Larkin (ur. 19.06.1967) i Toby (ur. 21.04.1969); 4. Patricia Quinn (od 1995 do jego śmierci)