Phú Đức xuất thân trong một gia đình nhà giáo tiếng tăm. Thân phụ tên là Nguyễn Đức Tuấn (?-?), một trí thức cùng thời với Diệp Văn Cương (?-1929) thân phụ của Diệp Văn Kỳ (1895-1945)