Уолтерс родился в бедной семье. Отец работал автомехаником и умер, когда ребенку было всего 18 месяцев. Мать страдала алкоголизмом, а вскоре после смерти мужа бросила сына вместе с его сестрами — за детьми начала присматривать бабушка. Семья проживала в доме без водопровода.
С юных лет Уолтерсу прививали трудолюбие. Мальчик восхищался бабушкой, которая ради обеспечения семи детей ходила на две работы. Она занималась уборкой домов и мыла посуду в заведениях. В семь лет юноша уже пытался помочь семье. Уолтерс взял кредит на $40, чтобы купить косилку для травы Huffy. В окрестностях он подстригал газон за несколько центов. Через 2 года юноша взял еще один кредит размером $90. Полученные деньги он вложил в газеты и начал перепродавать их с небольшой наценкой. В качестве поручителя оба раза выступила бабушка.
Первое пари Уолтерс заключил в 9 лет. Он поставил $75 на New York Yankees в матче против Brooklyn Dodgers. Наш герой проиграл, но продолжил увлекаться азартными развлечениями.
Бабушка Уолтерса умерла, когда тому было 13 лет, и юноше пришлось вернуться к матери в Луисвилл, штат Кентукки. На новом месте сразу устроился на две работы: ранним утром его можно было найти в пекарне, а вечером на заправке. Матери он платил $10 в месяц за комнату в подвале. Еще до окончания средней школы женился, и у пары появился ребенок. Брак продержался недолго — супруга ушла от Уолтерса из-за его увлечения ставками.