L'abbaye y installe quelques moines pour assurer les offices pour les populations locales . Au XIe siècle le Pape Grégoire VII confirme par une Bulle, les biens de Saint-Victor, parmi lesquels figurent l'église de Sainte-Perpétue et les terres autour, avec l'église Sainte-Marie.
Ce monastère avait la particularité d'être double, les hommes avaient d'un côté leurs bâtiments et desservaient l'église Sainte-Perpétue, les moniales utilisaient l'église Sainte-Marie. Les deux établissements avaient à leur tête une prieure et un prieur désignés par les moines de Saint-Victor. Cet établissement, improprement appelé abbaye, avait en fait le rang de prieuré.
