Смит родился в состоятельной семье. У дедушки была собственная плантация, а отец работал адвокатом. После Гражданской войны семья обанкротилась. В попытке начать бизнес с нуля она переехала в Техас в 1876 году.
В Раунд-Роке Смит обучился различным трюкам и фокусам. Уже тогда он начал обманывать людей с помощью карт. Через 1 год после переезда юноша лишился матери. В 1878-м Джефферсон наблюдал за расстрелом преступника Сэма Басса. После этого он решил покинуть дом в поисках личного счастья.