Figlio minore di Charles Stanhope, III conte Stanhope, il tenente colonnello James Hamilton Stanhope (1788–1825) si arruolò nell'esercito britannico a soli quindici anni su consiglio di William Pitt il Giovane (cugino di secondo grado del III conte). Prestò servizio in Spagna, Portogallo, Fiandre e Francia, fungendo da aiutante di campo del generale Sir John Moore e di Lord Lynedoch, prima di essere nominato assistente quartiermastro generale nella penisola nel 1813. Riportò una ferita da mitraglia alla spina dorsale durante la presa di San Sebastiano nel 1813, che gli avrebbe causato immense sofferenze per il resto della sua vita. Ciononostante, rimase nell'esercito e nel 1815 prestò servizio come assistente del Duca di Wellington durante la campagna di Waterloo. Prese parte alla battaglia di Waterloo e alla successiva marcia su Parigi.
