Jane Dorothy Harvey era la hija mayor del reverendo Bridges Harvey, rector de Doddinghurst, un pueblo del sur de Essex. Posteriormente se casó con el influyente abogado e industrial londinense Charles Ranken Vickerman, quien en 1863 adquirió el castillo de Hean, en Saundersfoot, Pembrokeshire. Su hijo mayor, Charles Henry Ranken Vickerman, se convirtió en juez de paz de Pembrokeshire y alto sheriff en 1917.