Палац збудували приблизно 1870 року для військового Василя Вінберга та його дружини Єлисавети Анненкової, яким садибу дістали у спадок.
Колись це був двоповерховий будинок із шістнадцятьма кімнатами, вежею, купальнями, стайнями й виходом до річки. За переказами, Василь спорудив його як подарунок коханій дружині, яка тужила за українським сонцем після холодного Петербурга.
У радянський період тут діяли школа та дитячий інтернат, а з 1997 року будівлю передали жіночому монастирю. Саме тоді зникли металеві елементи — балкони, ворота та балки. У 2004 році пожежа зруйнувала купол і перекриття, залишивши від колишньої розкоші лише кам’яні стіни.
Сьогодні маєток перебуває на балансі Пантаївської громади. Хоча коштів на реставрацію немає, місцеві мешканці впорядковують територію та час від часу проводять толоки. Біля старих мурів росте величний двохсотлітній дуб, а влітку сюди часто навідуються веломандрівники.
Місцеві легенди стверджують, що Василь Вінберг побудував палац як копію їхнього петербурзького дому, щоб Єлисавета не сумувала за минулим. І навіть зараз, коли будівля стоїть без даху, її руїни ніжно називають «замком любові».