Jane Dorothy Harvey era la figlia maggiore del Rev. Bridges Harvey, Rettore di Doddinghurst, un villaggio nel sud dell'Essex. Sposò l'influente avvocato e industriale londinese Charles Ranken Vickerman, che nel 1863 acquistò il Castello di Hean, a Saundersfoot, nel Pembrokeshire. Il suo figlio maggiore, Charles Henry Ranken Vickerman, divenne Giudice di Pace del Pembrokeshire e Alto Sceriffo nel 1917.