Джозеф Джаггер появился на свет 2 сентября 1830-го. Его семья проживала в небольшой деревне Шельф в Англии. Повзрослев, он сначала отправился работать на текстильную фабрику в Брэдфорде. Как и большинство, рано женился, сделав предложение Матильде. Она подарила ему двух сыновей и дочерей.
Длительное время Джозеф Джаггер был типичным англичанином. После смены на фабрике он отправлялся в ближайший паб. Иногда его можно было застать за игрой в карты или рулетку.