Джеймс родился в большой семье — у него было 4 брата и 2 сестры. Детство прошло на ферме. Большую часть времени юноша проводил на поле, помогая отцу.
Любовь к картам ему привили братья и сестры. После работы детвора собиралась за игрой в покер. В это же время Джеймс начал осваивать стрельбу из револьвера — он почти никогда не промахивался по пустым бутылкам.
В 15 лет на юношу свалилось больше обязанностей после смерти отца. Он всегда мечтал остаться на ферме, чтобы помогать матери, но ему пришлось бежать из штата. В 18 лет Джеймс подрался с другим юношей. Соперники упали в сточную яму — каждый считал, что его оппонент погиб. Чтобы избежать возможного ареста, Джеймс переехал в Канзас и устроился водителем дилижанса.