Императрица Екатерина, благодарная князю Григорию Потемкину за присоединение Крыма к России, решила подарить ему дворец. Его и начал возводить на левом берегу Невы в 1783 году отличник и медалист Академии художеств архитектор Старов. Это станет его лучшим произведением, высоко оцененным не только в России, но и на Западе.
Поэт и государственный муж Гавриил Державин сравнивал дворец с древнеримским: «Кто хочет иметь о нем понятие — прочти, каковы были загородные дома Помпеи и Мецената. Наружность его не блистает ни резьбой, ни позолотой, ни другими какими пышными украшениями. Древний изящный вкус — его достоинство; оно просто и величественно». Французские зодчие упоминали его в числе лучших в Европе. А современные исследователи считают ансамбль примером творческого соединения палладианской композиционной схемы итальянских вилл и суровых природно-климатических условий Санкт-Петербурга.
Но один дворец, без обрамления садом, был бы незавершенной композицией. И к разбивке и устройству местного сада приступил английский мастер Вильям Гулд. На месте небольшой речки Саморойки он предложил сложную гидротехническую систему из двух прудов, соединенных протоками (через которые перекинули первые в городе металлические мосты, сделанные в Сестрорецке на оружейном заводе), и двух каскадов.
Это его умение «формировать пруды, из которых он получал достаточно материалов для создания приятного разнообразия возвышенностей и склонов» поражало современников. Еще поражало, что сад был устроен таким образом, что из любой его точки казалось, что у него совсем нет границ, хотя пределы его, естественно, были ограничены (с конца ХVIII века и по сегодняшний день границы ансамбля, включая сад, неизменны, сам сад занимает площадь 21,1 гектара).
Вода сюда поступала из специальных прудиков-накопителей, а в них — из реки Дудергофки через Лиговский канал. А часть посадочного материала специально выписали из Англии. За один только первый год высадили 23 тысячи саженцев. Сегодня вдоль границ сада сохранились и те первые посадки: дубы, лиственницы, липы.
Императрица после смерти князя заняла дворец под свою резиденцию, а сам сад предпочитала для прогулок всем иным. И писала про него, что «для осени и весны нельзя желать ничего лучше».