Большая часть детства Чарльза Фея прошла в маленьком баварском городе Феринген — в нем проживали 700 человек. Вместе с мальчиком в семье росли 14 других детей, причем будущий изобретатель был самым младшим. Отец — Карл Фей — работал школьным учителем и сторожем. Несмотря на это, его годовой оклад составлял 300 гульденов — до $50 (на сегодня до $1000).
В 1876-м, в возрасте 14 лет, Фей впервые оказался на сельскохозяйственной фабрике. Его взяли в подсобники на школьных каникулах, благодаря чему он получил первый опыт работы — юноша помогал ремонтировать сломавшиеся инструменты. Так, в детстве у него зародился интерес к механическим устройствам.
К этому времени в Баварии уже проложили железную дорогу, которая открывала Чарльзу путь в неизведанные миры. В 15 лет он ушел из дома и покинул Баварию. Во Франции Фей устроился в компанию по производству коммуникаций.
Через 3 года Чарльз снова переехал. На этот раз он направился в Лондон. Благодаря рекомендации от французского работодателя юношу взяли механиком на британскую верфь. Постепенно его английский язык совершенствовался. Вместе с этим Чарльз начал экономить, чтобы собрать деньги для следующего путешествия. В 1885-м Фей отправился в Нью-Джерси, США. Здесь он несколько месяцев жил у дяди. Рассказы о долине возможностей под названием Калифорния заставили его снова покинуть теплое место.