В отличие от большинства других гангстеров, Арнольд родился в состоятельной семье: его отец, Авраам Ротштейн, был успешным бизнесменом. В детстве будущий гангстер хорошо разбирался в математике, однако другие школьные предметы его не особо интересовали. Старший брат, Гарри, наоборот, мог похвастаться высокими оценками.
Арнольд был трудным ребенком. Он всегда хотел быть в центре внимания, но старший брат постоянно перетягивал одеяло на себя. Зависть негативно сказывалась на успеваемости в школе, а семейные взаимоотношения вскоре были вытеснены азартными развлечениями. Отец часто ругал Арнольда за ставки. Юноша же из-за этого все чаще играл в кости и в итоге даже не закончил школу. «Я всегда играл. Я не могу вспомнить, когда я этого не делал», — признавался Арнольд Ротштейн