父ジョージ・ダイソン(George Dyson、1883年5月28日 - 1964年9月28日)は、英国の王立音楽大学(RCM、Royal College of Music)の学長もつとめた作曲家、オルガン奏者。 独唱、合唱、オーケストラのための「カンタベリー巡礼」、「聖パウロのメリタへの旅」などの作品がある。 母は弁護士。息子は著名なカヌー・ビルダーでエコロジストのジョージ・B・ダイソン。娘はICANN (Internet Corporation for Assigned Names and Numbers) 会長で作家のエスター・ダイソン。大江健三郎と親交がある。