Vers la fin du Ve siècle, des ermites, peut-être disciples de Saint Roman (fondateur de monastères dans le Jura, mort en 460), s’installent sur ce rocher et deviennent de plus en plus nombreux au fil du temps.
Au VIIe ou VIIIe siècle, cette communauté qui vivait un style de vie monastique oriental dans la lignée des Pères du Désert d’Egypte, adopte la règle de saint Benoît et devient abbaye bénédictine. Les moines agrandissent alors les cavités naturelles pour y installer chapelle et cellules.
Passée au XIe siècle sous la tutelle de la puissante abbaye de Psalmody, située près d’Aigues-Mortes, Saint-Roman demeure un prieuré, but d’importants pélerinages sur des reliques attribuées à St Roman et St Trophime. Du fait de son ancienneté et de son prestige, des privilèges honorifiques témoigneront de la grande estime dont jouissait ce haut lieu malgré cette perte d’indépendance.
Au XIVe siècle, l’abbaye est fortifiée puis un studium, collège d’adolescents, est installé par le pape d’Avignon Urbain V pour y dispenser une instruction à des jeunes gens, pauvres ou riches, doués pour les études.
