Дойл Брансон родился 10 августа 1933 года в небольшом техасском городе Лонгворт. Будучи ребенком, он проявлял большой интерес к спорту и легкой атлетике, и со временем достиг в этой сфере больших успехов. В 1950 году он принял участие в соревнованиях между школами. В скоростном забеге на дистанции 1,6 км он оказался лучшим, и вскоре ему поступили предложения о вступлении в десятки колледжей. Из всех он выбрал техасский университет Хардина-Симмонса в Абилине.
Здесь с легкой атлетики он переключился на баскетбол. Он выступал за университетскую команду и был в ней одним из лучших. Вскоре талант Брансона заметил баскетбольный клуб «Миннеаполис Лейкерс» из NBA и предложил ему контракт. Юноша принял предложение, однако играть на высочайшем уровне ему было не суждено. Крест на спортивной карьере Дойла поставил тяжелый перелом ноги, после которого он так и не сумел полностью восстановиться.
Если бы не эта травма, возможно, мир бы так и не узнал о Брансоне как об одном из величайших покеристов в истории. И хотя сам Дойл неоднократно говорил, что перелом разрушил его мечты играть в NBA, он также дал мощнейший толчок для другого его увлечения.