Кросби родился в Грейт-Неке, штате Нью-Йорк, 12 мая 1927 года и вырос в Спринг-Лейк. Отец — юрист, инвестор и бывший помощник генерального прокурора США. Джеймс окончил Джорджтаунский университет в 1949-м и работал в основном на Уолл-стрит в брокерской конторе, пока в 1958 году его семья не приобрела находящуюся в затруднительном положении компанию Mary Carter Paint Co.
Предприятие замучили кредиторы, а производство красок было почти остановлено. Однако Джеймсу удалось вернуть его к жизни. На протяжении десяти лет компания приносила стабильный доход.
«Красочный» бизнес никогда серьезно не увлекал Джеймса Кросби. Ему хотелось сделать в своей жизни что-то действительно стоящее.
Когда в 1960-х годах Джеймс окончательно потерял интерес к бизнесу по производству красок, он перебрался на Багамы. Там его ожидал новый вызов — строительство первого отельного комплекса с казино.