El Palacio está situado en medio de un extenso parque de casi 300 hectáreas, a orillas del lago Kunming. Fue originariamente construido en el año 1750 por el emperador Quianlong. En 1860 el Palacio fue prácticamente destruido por las fuerzas franco-británicas. Fue restaurado y embellecido por la emperatriz Cixi en el año 1899. La emperatriz lo utilizó como su residencia temporal a partir de 1901 y fue la sede del Gobierno hasta 1908.