Башня была построена на левом берегу реки Сены, под пару Луврской башне, построенной ещё в те времена, когда здесь проходил крепостной вал и располагалась на том месте, где сейчас находится левый угол дворца Института Франции. Высотой 25 м и шириной 10 м, она была сооружена недалеко от резиденции, принадлежащей графу де Нэлю. В дальнейшем башня отошла к резиденции.

В 1308 году Филипп IV приобрел резиденцию у графа Амари де Нэля и пожаловал её своему старшему сыну Людовику Наваррскому. В 1319 году Филипп V дарит резиденцию своей супруге Жанне Бургундской, по завещанию которой здание было продано в пользу учебного заведения Коллеж де Бургонь, которое впоследствии было преобразовано в Университет Парижа. Разрушенные в 1665 году, резиденция и Нэльская башня уступили место Институту Франции и Библиотеке Мазарини.

В XIX веке Александр Дюма написал роман «Нэльская башня», где описаны сцены оргий и убийство французской королевы Маргариты Бургундской в начале XIV века. Эта легенда, известная также под названием «Дело Нэльской башни», основана на широкой огласке обвинений в измене невесток короля Филиппа IV в 1314 году. Впрочем, эти обвинения никогда не были доказаны.

Нельская башня находилась в стене построенной ещё при Филиппе-Августе...Но сейчас от этой стены остались в основном одни развалины.Сначала в развалинах размещались только женщины со вшивыми детьми на руках,чтобы просить милостыню у прохожих,а затем Каламбреден захватил там все выгодные позиции.Нельскую башню Николя сделал своей зимней квартирой.В главном зале башни все обитатели Двора чудес собирались по вечерам,разжигали камин,и становилось тепло...Обычно там были большие пьянки...но не смотря на это там всегда царило спокойствие...
На втором этаже Нельской башни находилась комната Калабредена и Анжелики.