Pagryžuvys priklausė Pšeciševskių šeimai. XIX a. pradžioje dvaras ir jo apylinkės buvo Raseinių maršalkos Adomo Pšeciševskio nuosavybė, o vėliau - jo sūnaus Jeronimo. Per prievartą šį dvarą trumpam buvo nusipirkęs rusas Aleksandras Hristianovičius. Po keliolikos metų dvarą iš jo nupirko Izidorius Riomeris (1843-1910). Riomeriams mirus, dvarą turėjo paveldėti jų vaikai, bet po I-ojo pasaulinio karo dvaras buvo nacionalizuotas ir atiduotas tėvams jėzuitams.

XIX a. viduryje Jeronimas Pšeciševskis Pagryžuvyje pastatė rūmus (projekto autorius - vietinis architektas Fulgentas Rimgaila), kuriuose ryškūs romantizmo architektūros bruožai..

Itin gražus buvo rūmų priekinis fasadas. Kairiajame rūmų sparne buvo triaukštis bokštas, dešiniajame - vieno aukšto priestatas. Užpakalinis fasadas buvo daug kuklesnis, vieno aukšto.

Rūmų vidui savitumo suteikdavo čia stovėję senoviniai baldai, ant sienų kabėję paveikslai, šeimyniniai portretai, kuriuos buvo nutapę Alfredas ir Edvardas Riomeriai. Būta čia ir sidabrinių, porcelianinių indų rinkinių, vazų, kambarius puošė kilimai, Vienos laikrodžiai. Garsėjo Pagryžuvio biblioteka, kurioje buvo keli tūkstančiai tomų klasikinės ir istorinės literatūros knygų. Šie spaudiniai, ištisi jų rinkiniai žuvo 1915 m., kai dvaras atsidūrė ant fronto linijos.

Rūmus juosė gražus 35 ha dydžio angliško stiliaus parkas. Per jį tekėjo upelis, prie rūmų augo daug gėlių ir dekoratyvinių krūmų.

Paskutiniuoju laikotarpiu pagalbiniai dvaro pastatai, parkas jau gerokai apnykę. Pagrindinis pastatas restauruotas, tačiau senojo grožio čia jau nelikę.