Родители Уильяма были цыганами. Большая часть детства прошла в лагере. Его образование оказалось специфичным — вместо книг ребенку вручили карты. К подростковому возрасту Уильям освоил несколько игр, а также научился подтасовывать колоду.
Цыгане добывали деньги обманом, поэтому лагерь часто переезжал. В 1860 году Уильям покинул родину — он отправился в Канаду на поиски приключений.