Старинная арабская крепость, холодное и неприветливое сооружение, построенное арабами в IX веке и расширенное во времена правления Австрийской Династии, полностью сгорело на Рождество в 1734 году. Это был один из самых страшных и быстротечных пожаров, которые помнят исторические хроники. Пламя уничтожило богатейшую коллекцию живописи и художественных изделий, однако это несчастье предоставило династии Бурбонов построить новую резиденцию в соответствии с традициями основных европейских королевских дворов. Филипп V пригласил из Италии Филиппо Джувара, предложившего проект создания огромного здания наподобие Версаля, в стиле проекта Бернини для французского дворца Лувра, однако, расположенного вне городского центра вследствие своего огромного размера. Джувара скончался вскоре после окончания работы над проектом, и монарх пригласил Джованни Баттиста Сакетти, ученика Джувара, для строительства дворца, однако, при условии его возведения на том месте, где ранее находилась Крепость Австрийской династии.

Сакетти приступил к реализации проекта, надеясь на то, что величественность дворца, потерянная им по площади, могла бы наверстаться в высоте, при гарантии того, что новое здание, полностью выполненное из камня, не будет подвластно пожарам. Его первый камень был заложен в 1738 году. Работы продолжались до 1764 года, и в них приняли участие, помимо Сакетти, архитекторы Сабатини и Вентура Родригес. Карл III стал первым королем, который поселился во дворце.

В настоящее время дворец не является королевской резиденцией, но его помещения оживляются мероприятиями, входящими в рамки королевского протокола. Помимо этого, часть дворца отдана под музей, в котором можно увидеть подлинную мебель, лучше всего сохранившуюся в Европе. Следует отметить залы, украшенные работами Гампарини, тронный зал и праздничный гостиный зал. Неисчислимы произведения искусства, хранящиеся во дворце: потолки, расписанные фресками Коррадо Джакинто, Тьеполо и Менгс, произведения Гойи, Ватто, Ван дер Фейден, Боска, Веласкеса и Караваджо.