В 1722 г. участок земли на Смихове купил один из самых известных архитекторов чешского барокко - К. И. Динценгофер, а через 6 лет здесь стоял небольшой дворец для его семьи. Это двухэтажная постройка с богато отделанным садовым фасадом и характерной для барокко лоджией. На втором этаже нашел себе место овальный мраморный зал с росписью по потолку В. В. Рейнера под названием «Вакханалия». Позднее по обеим сторонам основного здания появились два симметричных одноэтажных крыла (в 1884 южное крыло усадьбы было снесено).
После смерти строителя в 1752 г. из-за разногласий между наследниками дворец был продан, а спустя 4 года ее купил граф Франц Леопольд Буквой-Лонгевал. В саду, простирающемся до самой Влтавы, он построил оранжереи, теплицы и вообще постарался обустроить сад. Граф часто устраивал здесь торжества, нередко с фейерверками. Однако наследник графа сдал усадьбу в аренду, и в ней был устроен садовый ресторан. Дом ветшал по причине плохого ухода, а в 1804 г. Буквойку приобрел Ф. Делорме для своей фабрики по производству цикория.
В 1828 г. объект купили Моисей и Иуда Поргес из Портгейма, построившие у Влтавы ситцевый цех, а бывший летний дворец превратили в свою родовую усадьбу. Теперь Буквойка стала называться Портхеймкой. Их наследник поднял боковые флигели еще на этаж. В 1870 г. Иосиф Портхейм создал музыкальный центр и устраивал в мраморном зале концерты силами замечательных музыкантов, в том числе его собственным квартетом, альтистом в котором был сам Антонин Дворжак.
Новая страница в судьбе усадебной постройки связана с появлением «соседа». Для строительства базилики Святого Вацлава город Смихов откупил часть сада, а в 1884 южное крыло усадьбы было снесено, но Портгеймам удалось сохранить памятник-дворец. Однако повышение уровня ближайших улиц не украсило ни сад, ни постройку.
После второй мировой войны сад (вернее, то, что от него осталось) был открыт, а дворец был переоборудован под выставочный объект с кафе в первом этаже. Изредка здесь проходят культурные мероприятия.