История дворца связана с семьей писателя, поэта, историка, государственного деятеля ВКЛ, князя Священной Римской империи Ульрика Криштофа Радзивилла. Именно его отец, Hиколай Фаустин Радзивилл, начал строительство дворца в Дятлово на месте сожженного шведами деревянного замка, которое завершилось в 1751 году.
Первоначально дятловский дворцовый ансамбль представлял собой комплекс, в который входили также малые архитектурные формы (павильоны, мостики, скульптуры), расположенные в пейзажном парке у реки Дятловки. С годами внешний облик дворца Радзивиллов сильно упростился.
Сегодня он имеет плоскую крышу, а между тем на рисунке Наполеона Орды, датированном 1860 — 1870 годами, дворец украшен двумя боковыми трехъярусными башенками с шатровыми завершениями и высокой вальмовой крышей. Фасады здания и поныне сохранили декоративные элементы позднего барокко.
Сейчас двухэтажное кирпичное здание бывшего дворца Радзивиллов (а позднее — Солтанов) выставлено на продажу. До этого 70 лет — с 1938 и до 2010 года — в нем размещалась городская стоматология.
