После рождения Раффина его семья переехала в Уичито, штат Канзас. Будущий миллиардер без особых проблем окончил местную школу. В подростковом возрасте он увлекся борьбой. Отец Рой Раффин большую часть времени проводил в своем продуктовом магазине и никогда не посещал соревнования сына.
Когда Фил выиграл чемпионат штата, папа узнал об этом из газеты.
Достижения в спорте позволили будущему миллиардеру получить стипендию в университете Уошборна. Фил не сразу воспользовался подобным предложением, поскольку хотел продолжить обучение за пределами штата. Его семья не смогла оплатить университет.
После поступления в Уошборн Раффин долгое время не мог определиться со специализацией, но в конечном счете решил получить степень по бизнесу. Первый год обучения прошел неплохо, но со 2-го курса успеваемость начала заметно падать. Плохие оценки не стали препятствием для Фила — он бросает университет, чтобы основать свою первую компанию.