Pagynės dvaras, minimas istoriniuose šaltiniuose nuo 1744 metų, ilgą laiką priklausė Svolkienių šeimai, o XVIII-XIX a. buvo svarbus vietos gyvenime. Anupras Svolkienis (1769–1831) ir jo dukra Klara Svolkienytė (1810–1827) buvo palaidoti dvaro koplytėlėje, kurią vėliau Ignacas Svolkienis rūpestingai įamžino, įmūrydamas paminklinius akmenis su įrašais koplytėlės nišose.
Koplytėlė, kuri buvo svarbus dvaro simbolis, vėliau tapo griuvėsiais. 1902 m. dvaras turėjo 26 gyventojus, o 1923 m. jų skaičius išaugo iki 57.
Vėlesnis dvaro savininkas buvo Zdislavas Jurevičius. 1940 m., po Lietuvos prisijungimo prie Sovietų Sąjungos, dvaro teritorijoje buvo įkurtas Pagynės tarybinis ūkis, o vėliau – paukštininkystės ūkis.
Dvaro istorija liudija apie svarbią vietos bajorų gyvenimo dalį, tačiau šiuo metu dvaras ir jo koplytėlė nebeišliko, o vietoje buvusių pastatų liko tik fragmentai, primenantys šio regiono kultūrinį ir istorinio paveldo svarbą.
