Дворец был построен в 1826 -1827 годах для Таврического губернатора Нарышкина. Вероятнее всего, по проекту архитектора Эльсона, который также проектировал и старый Алупкинский дворец.
В 1834 году дворец в Симферополе выкупил у вдовы Нарышкина новый новороссийский губернатор Воронцов в качестве гостевого дома. Здесь часто останавливались проездом на Южнобережье члены императорской семьи.
На верхнем этаже находятся жилые и парадные комнаты, в цокольном - хозяйственные комнаты и подсобные помещения. Оригинальная флигель-кухня выполнена в турецком стиле.
Дом - дворец Воронцова выделяется четким архитектурным планированием и колоннадой дорического стиля, а также террасой, что спускается к парку ступеньками с мраморными львами по сторонам. Исключительной достопримечательностью здания являлись уникальные, единственные сохранившиеся в Крыму росписи в стиле классицизма.
Во время Великой Отечественной войны дом серьезно не пострадал и к 1972 году был передан Симферопольскому пединституту (ныне – Таврический национальный университет), вокруг него началось восстановление парка, заложенного еще в начале XIX столетия известным немецким ученым академиком естествоиспытателем П.С.Палласом, и разбитие ботанического сада. Паллас основал также Никитский ботанический сад и Новосветские виноградники. До сих пор сохранился и одноэтажный дом Палласа, который работал в Крыму в XVIII веке.
Дворец расположен на территории нынешнего ландшафтного парка «Салгирка».
На сегодня это Ботанический сад Таврического национального университета имени Вернадского.