Zbudowany został w latach 1681-97 wg planów Tylmana z Gameren dla Dominika Mikołaja Radziwiłła, po którym odziedziczył posesję książę Jan Mikołaj Radziwiłł. W latach 1744-59 właścicielem pałacu był Andrzej Stanisław Kosta Załuski. W 1757 Jakub Fontana dobudował stajnie i oficyny, a w 1824-8 Henryk Marconi przebudowuje rezydencję dla Ludwika Paca. Zyskała ona wtedy dekoracje malarskie Jana Chrzciciela Casellego, Mikołaja de Angelis i Józefa Głowackiego i sale neogotyckie i mauretańskie, a także monumentalną bramę. 19.03.1801 z okazji imienin księcia Józefa Poniatowskiego urządzono tu pierwszą warszawską maskaradę.
Pałac miał 230 pokoi, a po przeróbce aż 260. W 1829 mieszkał tu Juliusz Słowacki i pewien czas Stanisław Staszic. W 1831 pałac został skonfiskowany, jak wszystkie dobra Paca (jak np. majątek w Dowspudzie) przez carat i umieścił tu urząd gubernatora, a od 1876 do 1939 sąd okręgowy. W latach 1871-6 mieściła się tu Klasa Rysunkowa, powstała przy UW, a przeniesiona z pałacu Mostowskich. Jej dyrektorem był wówczas Gerson. Jeszcze w latach ’20 XX w. skazywano tu członków ruchu komunistycznego. Przebudowano wtedy pałac wg planów Oskara Sosnowskiego. Skrzydła dobudowano w 1934-6 wg proj. Jerzego Przymanowskiego.
Pałac został odbudowany w latach 1948-51 pod kierunkiem Henryka Białobrzeskiego. W prawym pawilonie do pocz. lat ’80 XX w. działało kino Zdrowie. Dziś mieści się Ministerstwo Zdrowia, pod którym odbywały się pamiętne strajki pielęgniarek.
Brama wjazdowa.
Powstała w 1824-6 wg proj. Henryka Marconiego z rzeźbami Ludwika Kaufmana. Jest
to ‘Konsul rzymski Tytus Kwintus Flaminiusz na igrzyskach w Koryncie ogłasza
swobodę miast greckich’.