L’actuel manoir de l’Abbaye est une maison de réceptions qui fut aménagée au début du siècle dernier dans les anciens bâtiments d’exploitation de l’Abbaye bénédictine de Saint Victor en Caux. C’est cette Abbaye aujourd’hui ruinée qui a donné son nom au village : Saint Victor l’Abbaye.

Vue aérienne du domaine de l'Abbaye de Saint Victor.

Carrefour d’anciennes voies romaines, le site de Saint Victor, stratégique, garde des traces d’occupations très antérieures à notre ère.
Il est dominé autour de l’an mil, par la forteresse des sires de Mortemer, édifiée sur une butte artificielle (motte féodale toujours bien visible au fond du parc)
En 1051 (ou 1071 ?) le prêtre Tormond y reçoit les reliques de Saint Victor de Marseille : il fait alors bâtir sur ces lieux une église collégiale, qui devient bientôt prieurale, placée sous la tutelle de Saint Ouen de Rouen.

Statue de Guillaume le Conquérant (Eglise de Saint Victor l'abbaye)

En 1074, à la prière de Roger de Mortemer, seigneur du Lieu et compagnon du duc-roi Guillaume-le-Conquérant, et avec le consentement de celui-ci, l’Archevêque de Rouen, Jean d’Avranches, érige le prieuré de Saint Victor en Caux en Abbaye obéissant à la règle de Saint Benoit.

De 1074 à 1790, ce sont 41 abbés, portant le titre de Barons de Saint Victor qui se succèderont au gouvernement de l’Abbaye qui est doté de nombreux revenus. Mais, outre les vicissitudes ordinaires de l’histoire, la communauté monastique de Saint Victor doit affronter un conflit plus ravageur que les guerres : le procès qui l’oppose à l’Abbaye Saint Ouen de Rouen, laquelle obtint finalement gain de cause…causant la ruine de Saint Victor.
Ainsi comprend t-on que Saint Victor en Caux, très prospère aux XIIè – XIVè siècles, connaisse un déclin irrémédiable, malgré diverses tentatives de restaurations méritoires… Le dernier religieux résidant y meurt vers 1720.

De la riche fondation religieuse il ne reste plus que quelques fondations, une colonne et une partie du cloître.